Estatísticas e Big Data pca

1

Redução de dimensionalidade supervisionada

Eu tenho um conjunto de dados que consiste em 15 mil amostras marcadas (de 10 grupos). Quero aplicar a redução de dimensionalidade em duas dimensões, que levariam em consideração o conhecimento dos rótulos. Quando uso técnicas de redução de dimensionalidade não supervisionadas "padrão", como o PCA, o gráfico de dispersão …

13 machine-learning pca dimensionality-reduction supervised-learning discriminant-analysis

1

O que são os componentes principais "rotacionados" e "não rotacionados", uma vez que o PCA sempre gira os eixos das coordenadas?

Tanto quanto eu entendo, os componentes principais são obtidos girando os eixos de coordenadas para alinhá-los com as direções de variação máxima. No entanto, continuo lendo sobre "componentes principais não rotacionados" e meu software de estatística (SAS) me fornece componentes principais rotacionados em varimax, bem como os componentes não rotacionados. …

13 pca terminology factor-rotation

2

Qual é a diferença entre seleção de recurso e redução de dimensionalidade?

Eu sei que a seleção de recursos e a redução de dimensionalidade visam reduzir o número de recursos no conjunto original de recursos. Qual é a diferença exata entre os dois se estivermos fazendo a mesma coisa nos dois?

13 machine-learning pca feature-selection dimensionality-reduction

1

Como interpretar carregamentos de PCA?

Ao ler sobre o PCA, deparei-me com a seguinte explicação: Suponha que tenhamos um conjunto de dados em que cada ponto de dados represente as pontuações de um único aluno em um teste de matemática, um teste de física, um teste de compreensão de leitura e um teste de vocabulário. …

13 pca

3

Implementação passo a passo do PCA em R usando o tutorial de Lindsay Smith

Estou trabalhando no R através de um excelente tutorial de PCA de Lindsay I Smith e estou ficando paralisado na última etapa. O script R abaixo nos leva ao estágio (na p.19) em que os dados originais estão sendo reconstruídos a partir do (principal neste caso) Componente Principal, que deve …

13 r pca

2

Selecionando componentes PCA que separam grupos

Eu costumava diagnosticar meus dados multivariados usando o PCA (dados omicos com centenas de milhares de variáveis e dezenas ou centenas de amostras). Os dados geralmente vêm de experimentos com várias variáveis independentes categóricas que definem alguns grupos, e muitas vezes tenho que passar por alguns componentes antes de encontrar …

13 pca linear-model r-squared discriminant-analysis

3

Como calcular os principais componentes rotacionados em varimax em R?

Executei o PCA em 25 variáveis e selecionei os 7 principais PCs usando prcomp. prc <- prcomp(pollutions, center=T, scale=T, retx=T) Eu fiz a rotação varimax nesses componentes. varimax7 <- varimax(prc$rotation[,1:7]) E agora desejo varimax rotacionar os dados rotacionados com PCA (como ele não faz parte do objeto varimax - apenas …

13 r pca factor-rotation

2

Para uma matriz aleatória, um SVD não deveria explicar nada? O que estou fazendo de errado?

Se eu construir uma matriz 2D composta inteiramente de dados aleatórios, esperaria que os componentes PCA e SVD não explicassem nada. Em vez disso, parece que a primeira coluna SVD parece explicar 75% dos dados. Como isso pode ser possível? O que estou fazendo de errado? Aqui está o enredo: …

13 r pca svd

3

PCA em dados de texto de alta dimensão antes da classificação aleatória da floresta?

Faz sentido fazer o PCA antes de executar uma Classificação Florestal Aleatória? Estou lidando com dados de texto de alta dimensão e quero reduzir os recursos para evitar a maldição da dimensionalidade, mas as florestas aleatórias já não têm algum tipo de redução de dimensão?

13 classification pca random-forest dimensionality-reduction high-dimensional

3

Os componentes do PCA realmente representam a porcentagem de variação? Eles podem somar mais de 100%?

O "Aprendizado de Máquina para Hackers" de O'Reilly diz que cada componente principal representa uma porcentagem da variação. Citei a parte relevante da página abaixo (capítulo 8, p.207). Falando com outro especialista, eles concordaram que é a porcentagem. No entanto, os 24 componentes somam 133,2095%. Como pode ser? Tendo nos …

13 r pca

2

Posso fazer um PCA em medidas repetidas para redução de dados?

Eu tenho 3 ensaios cada um com 87 animais em cada um dos 2 contextos (alguns dados ausentes; nenhum dado ausente = 64 animais). Dentro de um contexto, tenho muitas medidas específicas (hora de entrar, número de vezes que retornam para abrigo, etc), assim que eu quero desenvolver 2 a …

13 repeated-measures pca dimensionality-reduction

5

Redução de dimensionalidade de SVD para séries temporais de diferentes comprimentos

Estou usando a Decomposição de Valor Singular como uma técnica de redução de dimensionalidade. Dados os Nvetores de dimensão D, a idéia é representar os recursos em um espaço transformado de dimensões não correlacionadas, que condensa a maioria das informações dos dados nos vetores próprios desse espaço em uma ordem …

13 time-series machine-learning pca data-transformation multivariate-analysis

1

Pontuações de PCA e componente com base em uma combinação de variáveis contínuas e binárias

Desejo aplicar um PCA em um conjunto de dados, que consiste em variáveis de tipo misto (contínuo e binário). Para ilustrar o procedimento, colo um exemplo mínimo reproduzível em R abaixo. # Generate synthetic dataset set.seed(12345) n <- 100 x1 <- rnorm(n) x2 <- runif(n, -2, 2) x3 <- x1 …

13 r pca

2

Como executar a validação cruzada para o PCA para determinar o número de componentes principais?

Estou tentando escrever minha própria função para análise de componentes principais, o PCA (é claro que já há muito escrito, mas estou interessado apenas em implementar coisas sozinho). O principal problema que encontrei é a etapa de validação cruzada e o cálculo da soma prevista dos quadrados (PRESS). Não importa …

13 pca cross-validation matlab

3

A otimização do PCA é convexa?

A função objetivo da Análise de Componentes Principais (PCA) é minimizar o erro de reconstrução na norma L2 (consulte a seção 2.12 aqui . Outra visão é tentar maximizar a variação na projeção. Também temos um excelente post aqui: Qual é a função objetivo do PCA ? ). Minha pergunta …

12 machine-learning pca optimization convex

Perguntas com a marcação «pca»