Estatísticas e Big Data dimensionality-reduction

1

Como interpretar resultados de redução de dimensionalidade / escala multidimensional?

Realizei uma decomposição SVD e um dimensionamento multidimensional de uma matriz de dados tridimensional, a fim de obter uma melhor compreensão da estrutura dos dados. Infelizmente, todos os valores singulares são da mesma ordem, implicando que a dimensionalidade dos dados é realmente 6. No entanto, eu gostaria de poder interpretar …

9 pca interpretation dimensionality-reduction svd

1

HMC: Quantas dimensões são demais?

Pelo que li Monte Carlo Hamiltoniano, é o MCMCmétodo "ir" quando o seu problema é de alta dimensão. Na prática, quantas dimensões 10, 100, 1.000, 10.000, 100.000, são demais? O custo computacional, sem dúvida, se tornará um problema e suponho que o modelo usado seja importante a considerar, mas essas …

9 autocorrelation mcmc monte-carlo dimensionality-reduction

1

Codificação de recursos categóricos de alta cardinalidade (várias categorias) quando os recursos diferem bastante na cardinalidade

Estive pesquisando perguntas sobre a codificação de recursos categóricos, mas não encontrei nenhuma que discutisse meu problema. Desculpas se eu perdi. Digamos que temos um conjunto de dados com variáveis binárias e nominais de importância aproximadamente igual cada. A maioria dos classificadores não pode lidar com tipos categóricos diretamente, portanto …

8 classification categorical-data dimensionality-reduction feature-construction many-categories

3

Como executar SVD para atribuir valores ausentes, um exemplo concreto

Eu li os ótimos comentários sobre como lidar com valores ausentes antes de aplicar o SVD, mas gostaria de saber como ele funciona com um exemplo simples: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Dada a matriz …

8 r missing-data data-imputation svd sampling matlab mcmc importance-sampling predictive-models prediction algorithms graphical-model graph-theory r regression regression-coefficients r-squared r regression modeling confounding residuals fitting glmm zero-inflation overdispersion optimization curve-fitting regression time-series order-statistics bayesian prior uninformative-prior probability discrete-data kolmogorov-smirnov r data-visualization histogram dimensionality-reduction classification clustering accuracy semi-supervised labeling state-space-models t-test biostatistics paired-comparisons paired-data bioinformatics regression logistic multiple-regression mixed-model random-effects-model neural-networks error-propagation numerical-integration time-series missing-data data-imputation probability self-study combinatorics survival cox-model statistical-significance wilcoxon-mann-whitney hypothesis-testing distributions normal-distribution variance t-distribution probability simulation random-walk diffusion hypothesis-testing z-test hypothesis-testing data-transformation lognormal r regression agreement-statistics classification svm mixed-model non-independent observational-study goodness-of-fit residuals confirmatory-factor neural-networks deep-learning

2

Uma pessoa seleciona repetidamente os dois itens mais semelhantes dentre três. Como modelar / estimar uma distância perceptiva entre os itens?

Uma pessoa recebe três itens, digamos fotos de rostos, e é solicitada a escolher quais dos dois rostos são os mais semelhantes. Isso é repetido várias vezes com diferentes combinações de faces, onde cada face pode ocorrer em várias combinações. Dado esse tipo de dado, eu gostaria de modelar / …

8 modeling dimensionality-reduction psychometrics similarities

1

Análise Discriminante Linear e dados não normalmente distribuídos

Se bem entendi, uma Análise Discriminante Linear (LDA) assume dados distribuídos normais, recursos independentes e covariâncias idênticas para todas as classes, para o critério de otimização. Como a média e a variação são estimadas a partir dos dados de treinamento, isso já não é uma violação? Encontrei uma citação em …

8 dimensionality-reduction normality-assumption discriminant-analysis

1

Quando é apropriado usar o PCA como uma etapa de pré-processamento?

Entendo que o PCA é usado para redução de dimensionalidade para poder plotar conjuntos de dados em 2D ou 3D. Mas também vi pessoas aplicando o PCA como uma etapa de pré-processamento nos cenários de classificação em que eles aplicam o PCA para reduzir o número de recursos, depois usam …

8 machine-learning pca data-mining dimensionality-reduction

2

Usando mapas auto-organizados para redução de dimensionalidade

Nos últimos dias, venho realizando uma pesquisa sobre mapas auto-organizados para um projeto na escola. Eu entendi que mapas auto-organizados podem ser usados para reduzir a dimensionalidade de seus dados. No entanto, eu não entendo como isso funciona. Por exemplo, digamos que você tenha uma rede 10x10 de neurônios em …

8 data-transformation dimensionality-reduction self-organizing-maps

3

Redução de dimensionalidade em série para classificação

Eu estou procurando construir um modelo preditivo em que a variável de resultado seja binária e a entrada seja uma série temporal. Para torná-lo mais concreto, o modelo preverá se um cliente agita (deixou a empresa; codificado como 1 ou 0) com base no valor gasto com a empresa nos …

8 data-mining data-transformation dimensionality-reduction signal-processing

3

Teste post hoc em uma ANOVA de design misto 2x3 usando SPSS?

Eu tenho dois grupos de 10 participantes que foram avaliados três vezes durante um experimento. Para testar as diferenças entre os grupos e nas três avaliações, executei um ANOVA de desenho misto 2x3 com group(controle, experimental), time(primeiro, segundo, três) e group x time. Ambos timee groupresultaram significativos, além de haver …

8 anova mixed-model spss post-hoc bonferroni time-series unevenly-spaced-time-series classification normal-distribution discriminant-analysis probability normal-distribution estimation sampling classification svm terminology pivot-table random-generation self-study estimation sampling estimation categorical-data maximum-likelihood excel least-squares instrumental-variables 2sls total-least-squares correlation self-study variance unbiased-estimator bayesian mixed-model ancova statistical-significance references p-value fishers-exact probability monte-carlo particle-filter logistic predictive-models modeling interaction survey hypothesis-testing multiple-regression regression variance data-transformation residuals minitab r time-series forecasting arima garch correlation estimation least-squares bias pca predictive-models genetics sem partial-least-squares nonparametric ordinal-data wilcoxon-mann-whitney bonferroni wilcoxon-signed-rank traminer regression econometrics standard-error robust misspecification r probability logistic generalized-linear-model r-squared effect-size gee ordered-logit bayesian classification svm kernel-trick nonlinear bayesian pca dimensionality-reduction eigenvalues probability distributions mathematical-statistics estimation nonparametric kernel-smoothing expected-value filter mse time-series correlation data-visualization clustering estimation predictive-models recommender-system sparse hypothesis-testing data-transformation parametric probability summations correlation pearson-r spearman-rho bayesian replicability dimensionality-reduction discriminant-analysis outliers weka

4

valor-p como distância?

Os valores de p entre vários testes em pares podem ser considerados como uma medida de similaridade / distância e o dimensionamento multidimensional pode ser aplicado sobre uma matriz em pares de valores de p para reduzir a dimensionalidade? Essa é uma pergunta fácil, mas qual seria o maior problema …

8 multivariate-analysis p-value dimensionality-reduction

3

Técnicas de redução de dimensão para amostras muito pequenas

Eu tenho 21 variáveis socioeconômicas e de nível macro de atitude (como porcentagem de mães de 24 a 54 anos que não estão empregadas, porcentagem de crianças de 3 a 5 anos em creches e assim por diante). Também tenho dados sobre as proporções de avós que prestaram cuidados infantis …

8 pca factor-analysis dimensionality-reduction small-sample correspondence-analysis

3

Como visualizar a verdadeira dimensionalidade dos dados?

Eu tenho um conjunto de dados nominalmente 16-dimensional. Eu tenho cerca de 100 amostras em um caso e cerca de 20.000 em outro. Com base em várias análises exploratórias que conduzi usando PCA e mapas de calor, estou convencido de que a verdadeira dimensionalidade (ou seja, o número de dimensões …

8 data-visualization pca dimensionality-reduction

5

Técnica de redução de dimensionalidade para maximizar a separação de clusters conhecidos?

Então, digamos que eu tenha vários pontos de dados em R ^ n, onde n é bem grande (tipo 50). Sei que esses dados se enquadram em 3 clusters e sei em qual cluster cada ponto de dados faz parte. Tudo o que eu quero fazer é visualizar esses clusters …

8 clustering pca dimensionality-reduction data-visualization

2

Por que o decodificador do autoencoder geralmente é a arquitetura reversa como o codificador?

Toda arquitetura de autoencoder que eu vi tem uma arquitetura semelhante, principalmente porque o decodificador é exatamente o inverso do codificador. Se o objetivo do autoencodificador é o aprendizado de recursos de baixa dimensão, por que o decodificador não é simples? Um exemplo seria uma transformação linear onde é uma …

7 neural-networks dimensionality-reduction autoencoders

Perguntas com a marcação «dimensionality-reduction»