Perguntas com a marcação «dimensionality-reduction»

A análise de componentes principais (PCA) é geralmente explicada por meio de uma decomposição por si própria da matriz de covariância. No entanto, também pode ser realizado via decomposição de valor singular (SVD) da matriz de dados XX\mathbf X . Como funciona? Qual é a conexão entre essas duas abordagens? …

352 pca  dimensionality-reduction  matrix  svd 

A análise de componentes principais (PCA) pode ser usada para redução de dimensionalidade. Após a redução dessa dimensionalidade, como se pode reconstruir aproximadamente as variáveis ​​/ características originais de um pequeno número de componentes principais? Como alternativa, como remover ou descartar vários componentes principais dos dados? Em outras palavras, como …

113 pca  dimensionality-reduction  svd 

Ouvi muitas vezes sobre a maldição da dimensionalidade, mas de alguma forma ainda não consigo entender a ideia, está tudo nebuloso. Alguém pode explicar isso da maneira mais intuitiva, como você explicaria a uma criança, para que eu (e os outros confusos como eu sou) entendesse isso definitivamente? EDITAR: Agora, …

91 machine-learning  dimensionality-reduction  high-dimensional 

Em geral, o que se quer dizer com dizer que a fração da variação em uma análise como PCA é explicada pelo primeiro componente principal? Alguém pode explicar isso intuitivamente, mas também fornecer uma definição matemática precisa do que "variação explicada" significa em termos de análise de componentes principais (PCA)?xxx …

90 regression  pca  linear-model  dimensionality-reduction 

Estou confuso sobre o branqueamento ZCA e o branqueamento normal (que é obtido pela divisão dos componentes principais pelas raízes quadradas dos valores próprios de PCA). Até onde sei, xZCAwhite=UxPCAwhite,xZCAwhite=UxPCAwhite,\mathbf x_\mathrm{ZCAwhite} = \mathbf U \mathbf x_\mathrm{PCAwhite}, que são vetores próprios de PCA.UU\mathbf U Quais são os usos do clareamento ZCA? …

60 pca  dimensionality-reduction  image-processing 

Quais técnicas estão disponíveis para recolher (ou agrupar) muitas categorias para algumas, com o objetivo de usá-las como uma entrada (preditora) em um modelo estatístico? Considere uma variável como estudante universitário (disciplina escolhida por um estudante de graduação). É desordenado e categórico, mas pode potencialmente ter dezenas de níveis distintos. …

58 regression  categorical-data  dimensionality-reduction  feature-construction  many-categories 

Quero reduzir a dimensionalidade dos sistemas de ordem superior e capturar a maior parte da covariância em um campo de preferência bidimensional ou unidimensional. Entendo que isso pode ser feito por meio da análise de componentes principais e usei o PCA em muitos cenários. No entanto, nunca o usei com …

38 pca  data-visualization  binary-data  dimensionality-reduction  correspondence-analysis 

Citando um dos autores: A Incorporação Estocástica de Vizinhança Distribuída t (SNE) é uma técnica ( premiada ) para redução de dimensionalidade que é particularmente adequada para a visualização de conjuntos de dados de alta dimensão. Parece ótimo, mas esse é o autor falando. Outra citação do autor (re: a …

37 data-visualization  dimensionality-reduction  tsne 

Em uma tarefa recente, fomos instruídos a usar o PCA nos dígitos do MNIST para reduzir as dimensões de 64 (8 x 8 imagens) para 2. Em seguida, tivemos que agrupar os dígitos usando um Modelo de Mistura Gaussiana. O PCA que usa apenas dois componentes principais não produz clusters …

34 classification  clustering  pca  dimensionality-reduction  tsne 

Minhas perguntas Qual é a razão intuitiva por trás da rotação de fatores na análise fatorial (ou componentes no PCA)? Meu entendimento é que, se as variáveis ​​são quase igualmente carregadas nos principais componentes (ou fatores), então obviamente é difícil diferenciar os componentes. Portanto, neste caso, pode-se usar a rotação …

33 pca  interpretation  factor-analysis  dimensionality-reduction  factor-rotation 

Antecedentes : quero classificar as áreas residenciais de uma cidade em grupos com base em suas características socioeconômicas, incluindo densidade de unidades habitacionais, densidade populacional, área de espaços verdes, preço da habitação, número de escolas / centros de saúde / creches, etc. Quero entender em quantos grupos diferentes as áreas …

32 clustering  pca  k-means  dimensionality-reduction 

/ editar: Acompanhamento adicional agora você pode usar o irlba :: prcomp_irlba / edit: acompanhando meu próprio post. irlbaagora possui argumentos de "centro" e "escala", que permitem usá-lo para calcular componentes principais, por exemplo: pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M), right_only=TRUE)$v Eu tenho um grande número Matrixde recursos …

31 r  pca  dimensionality-reduction  svd  matrix-decomposition 

Vou explicar meu problema com um exemplo. Suponha que você queira prever a renda de um indivíduo, com alguns atributos: {Idade, Sexo, País, Região, Cidade}. Você tem um conjunto de dados de treinamento como esse train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

Eu tenho uma matriz em que a (i, j) me diz quantas vezes eu visualizei a página j. Existem 27 mil indivíduos e 95 mil páginas. Eu gostaria de ter um punhado de "dimensões" ou "aspectos" no espaço das páginas que corresponderiam a conjuntos de páginas que geralmente são vistos …

28 r  clustering  dimensionality-reduction 

Eu estava usando a Análise Discriminante Linear (LDA) da scikit-learnbiblioteca de aprendizado de máquina (Python) para redução de dimensionalidade e fiquei um pouco curioso sobre os resultados. Gostaria de saber agora o que o LDA scikit-learnestá fazendo para que os resultados pareçam diferentes, por exemplo, de uma abordagem manual ou …

26 python  scikit-learn  dimensionality-reduction  discriminant-analysis  svd