Estatísticas e Big Data pca

2

Por que a quantidade de variação explicada pelo meu 1º PC é tão próxima da correlação pareada média?

Qual é a relação entre o primeiro componente principal e a correlação média na matriz de correlação? Por exemplo, em uma aplicação empírica, observo que a correlação média é quase a mesma que a razão entre a variação do primeiro componente principal (primeiro valor próprio) e a variação total (soma …

9 correlation pca mathematical-statistics eigenvalues

1

Como comparar eventos observados x eventos esperados?

Suponha que eu tenha uma amostra de frequências de 4 eventos possíveis: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 e tenho as probabilidades esperadas de meus eventos ocorrerem: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Com a soma das frequências …

9 r statistical-significance chi-squared multivariate-analysis exponential joint-distribution statistical-significance self-study standard-deviation probability normal-distribution spss interpretation assumptions cox-model reporting cox-model statistical-significance reliability method-comparison classification boosting ensemble adaboost confidence-interval cross-validation prediction prediction-interval regression machine-learning svm regularization regression sampling survey probit matlab feature-selection information-theory mutual-information time-series forecasting simulation classification boosting ensemble adaboost normal-distribution multivariate-analysis covariance gini clustering text-mining distance-functions information-retrieval similarities regression logistic stata group-differences r anova confidence-interval repeated-measures r logistic lme4-nlme inference fiducial kalman-filter classification discriminant-analysis linear-algebra computing statistical-significance time-series panel-data missing-data uncertainty probability multivariate-analysis r classification spss k-means discriminant-analysis poisson-distribution average r random-forest importance probability conditional-probability distributions standard-deviation time-series machine-learning online forecasting r pca dataset data-visualization bayes distributions mathematical-statistics degrees-of-freedom

1

Quando escolher PCA vs. LSA / LSI

Questão: Existem diretrizes gerais com relação às características dos dados de entrada que podem ser usadas para decidir entre aplicar o PCA versus o LSA / LSI? Breve resumo do PCA vs. LSA / LSI: A Análise de Componentes Principais (PCA) e a Análise Semântica Latente (LSA) ou Indexação Semântica …

9 machine-learning pca lsa

1

Como interpretar resultados de redução de dimensionalidade / escala multidimensional?

Realizei uma decomposição SVD e um dimensionamento multidimensional de uma matriz de dados tridimensional, a fim de obter uma melhor compreensão da estrutura dos dados. Infelizmente, todos os valores singulares são da mesma ordem, implicando que a dimensionalidade dos dados é realmente 6. No entanto, eu gostaria de poder interpretar …

9 pca interpretation dimensionality-reduction svd

2

Como encontrar relações entre diferentes tipos de eventos (definidos por sua localização 2D)?

Eu tenho um conjunto de dados de eventos que ocorreram durante o mesmo período de tempo. Cada evento tem um tipo (existem poucos tipos diferentes, menos de dez) e um local, representado como um ponto 2D. Gostaria de verificar se há alguma correlação entre os tipos de eventos ou entre …

9 correlation pca multivariate-analysis point-process

2

É possível usar o PCA do kernel para seleção de recursos?

É possível usar a análise de componentes principais do kernel (kPCA) para Indexação Semântica Latente (LSI) da mesma maneira que o PCA é usado? Realizo o LSI em R usando a prcompfunção PCA e extraio os recursos com cargas mais altas dos primeiros componentes. Com isso, recebo os recursos que …

9 r pca feature-selection kernel-trick

3

Sobre o uso de rotação oblíqua após PCA

Vários pacotes estatísticos, como SAS, SPSS e R, permitem executar algum tipo de rotação de fator após um PCA. Por que uma rotação é necessária após um PCA? Por que você aplicaria uma rotação oblíqua após uma APC, uma vez que o objetivo da APC é produzir dimensões ortogonais?

9 pca factor-analysis factor-rotation

2

Visualização de vários "histogramas" (gráficos de barras)

Estou com dificuldades para selecionar a maneira correta de visualizar dados. Digamos que temos livrarias que vendem livros , e todo livro tem pelo menos uma categoria . Para uma livraria, se contarmos todas as categorias de livros, adquirimos um histograma que mostra o número de livros que se enquadram …

9 pca data-visualization histogram barplot

1

Fazendo o CCA x construindo uma variável dependente com o PCA e fazendo a regressão

Dado dois conjuntos de dados multidimensionais, e Y , algumas pessoas realizam análises multivariáveis criando uma variável dependente substituta usando a análise de componentes principais (PCA). Ou seja, execute PCA no conjunto Y , faça pontuações ao longo do primeiro componente y ' e execute uma regressão múltipla dessas pontuações …

9 regression multiple-regression pca canonical-correlation

3

A classificação baseada em redes neurais precisa de uma redução de dimensão?

Estou usando um classificador baseado em redes neurais para executar uma classificação para meus dados em n-dimensional. Então, pensei que seria uma boa ideia executar a redução de dimensão como PCA para meus dados primeiro e depois colocar os resultados do PCA no classificador (eu mantenho 3 PCs). No entanto, …

9 pca neural-networks

3

Como usar componentes principais como preditores no GLM?

Como eu usaria a saída de uma análise de componentes principais (PCA) em um modelo linear generalizado (GLM), assumindo que o PCA é usado para seleção de variáveis para o GLM? Esclarecimento: Eu quero usar o PCA para evitar o uso de variáveis correlacionadas no GLM. No entanto, o PCA …

9 pca generalized-linear-model feature-selection

2

Por que o primeiro vetor próprio no PCA se assemelha à derivada de uma tendência subjacente?

Estou usando o PCA para analisar várias séries temporais espacialmente relacionadas, e parece que o primeiro vetor próprio corresponde à derivada da tendência média da série (exemplo ilustrado abaixo). Estou curioso para saber por que o primeiro vetor próprio se relaciona com a derivada da tendência em oposição à própria …

8 time-series pca spatial eigenvalues

2

SVD de uma matriz de dados após uma projeção ortogonal em um subespaço

Digamos que eu possa conhecer o SVD de alguma matriz :X = U S V TXXXX=USVTX=USVTX = USV^T Se eu tenho uma matriz ortogonal (ou seja, é quadrada e tem colunas ortonormais), o SVD de éA X AAAAAAAXAXAXA XA=USWTXA=USWTXA = USW^T onde .W=ATVW=ATVW = A^TV Mas algo pode ser dito …

8 pca svd matrix-decomposition

1

Por que o PCA probabilístico usa variáveis gaussianas anteriores sobre variáveis latentes?

Atualmente, estou lendo artigos sobre PCA probabilístico e me pergunto por que o prior gaussiano (e não outro prior) é escolhido para as variáveis latentes? É apenas porque é simples ou há outro motivo? Referências: Tipping & Bishop, 1999, Análise Probabilística de Componentes Principais - logo abaixo da eq. 2) …

8 normal-distribution pca prior latent-variable

1

Qual matriz deve ser interpretada na análise fatorial: matriz padrão ou matriz estrutural?

Ao fazer uma análise fatorial (por fatoração do eixo principal, por exemplo) ou uma análise de componentes principais como análise fatorial, e depois de executar uma rotação oblíqua das cargas, - qual matriz você usa para entender quais itens carregam em quais fatores e interpretar os fatores - matriz padrão …

8 pca interpretation factor-analysis rotation

Perguntas com a marcação «pca»