Estatísticas e Big Data dimensionality-reduction

1

O método clássico de análise de componentes principais (PCA) é fazê-lo em uma matriz de dados de entrada cujas colunas têm média zero (o PCA pode "maximizar a variação"). Isso pode ser alcançado facilmente centralizando as colunas. No entanto, quando a matriz de entrada for esparsa, a matriz centralizada será …

10 pca algorithms dimensionality-reduction large-data sparse

1

SN-t com variáveis binárias contínuas e binárias

Atualmente, estou investigando a visualização de dados de alta dimensão usando t-SNE. Eu tenho alguns dados com variáveis binárias e contínuas mistas e os dados parecem agrupar os dados binários com muita facilidade. Obviamente, isso é esperado para dados em escala (entre 0 e 1): a distância euclidiana sempre será …

10 python dimensionality-reduction unsupervised-learning tsne mixed-type-data

2

Por que o PCA maximiza a variação total da projeção?

Christopher Bishop escreve em seu livro Pattern Recognition and Machine Learning uma prova de que cada componente principal consecutivo maximiza a variação da projeção para uma dimensão, depois que os dados foram projetados no espaço ortogonal aos componentes selecionados anteriormente. Outros mostram provas semelhantes. No entanto, isso prova apenas que …

10 machine-learning variance pca dimensionality-reduction eigenvalues

1

Variável categórica de regressão linear R valor "oculto"

Este é apenas um exemplo que encontrei várias vezes, portanto não tenho dados de amostra. Executando um modelo de regressão linear em R: a.lm = lm(Y ~ x1 + x2) x1é uma variável contínua. x2é categórico e possui três valores, por exemplo, "Baixo", "Médio" e "Alto". No entanto, a saída …

10 r regression categorical-data regression-coefficients categorical-encoding machine-learning random-forest anova spss r self-study bootstrap monte-carlo r multiple-regression partitioning neural-networks normalization machine-learning svm kernel-trick self-study survival cox-model repeated-measures survey likert correlation variance sampling meta-analysis anova independence sample assumptions bayesian covariance r regression time-series mathematical-statistics graphical-model machine-learning linear-model kernel-trick linear-algebra self-study moments function correlation spss probability confidence-interval sampling mean population r generalized-linear-model prediction offset data-visualization clustering sas cart binning sas logistic causality regression self-study standard-error r distributions r regression time-series multiple-regression python chi-squared independence sample clustering data-mining rapidminer probability stochastic-processes clustering binary-data dimensionality-reduction svd correspondence-analysis data-visualization excel c# hypothesis-testing econometrics survey rating composite regression least-squares mcmc markov-process kullback-leibler convergence predictive-models r regression anova confidence-interval survival cox-model hazard normal-distribution autoregressive mixed-model r mixed-model sas hypothesis-testing mediation interaction

3

Clustering como redução de dimensionalidade

Estou lendo um livro "Machine learning with Spark", de Nick Pentreath, e na página 224-225 o autor discute sobre o uso de meios K como forma de redução de dimensionalidade. Eu nunca vi esse tipo de redução de dimensionalidade, ele tem um nome ou é útil para formas específicas de …

10 clustering k-means dimensionality-reduction

3

PCA muito lento quando ambos n, p são grandes: alternativas?

Configuração do problema Eu tenho pontos de dados (imagens) de alta dimensão (4096), que estou tentando visualizar em 2D. Para esse fim, estou usando t-sne de maneira semelhante ao código de exemplo a seguir de Karpathy . A documentação do scikit-learn recomenda o uso do PCA para diminuir primeiro a …

9 pca dimensionality-reduction high-dimensional java tsne

1

Qual é a diferença entre aprendizado múltiplo e redução de dimensionalidade não linear?

Qual é a diferença entre aprendizado múltiplo e redução de dimensionalidade não linear ? Eu já vi esses dois termos sendo usados de forma intercambiável. Por exemplo: http://www.cs.cornell.edu/~kilian/research/manifold/manifold.html : O aprendizado múltiplo (também conhecido como redução de dimensionalidade não linear) busca o objetivo de incorporar dados que originalmente se encontram …

9 terminology dimensionality-reduction manifold-learning

2

Entendendo esse gráfico de PCA de vendas de sorvete versus temperatura

Estou usando dados fictícios de temperatura versus vendas de sorvetes e categorizado usando K Keans (n clusters = 2) para distinguir duas categorias (totalmente fictícias). Agora estou fazendo uma análise de componentes principais nesses dados e meu objetivo é entender o que vejo. Eu sei que o objetivo do PCA …

9 pca interpretation k-means dimensionality-reduction

2

Redução de dimensão escalável

Considerando o número de recursos constante, o Barnes-Hut t-SNE possui uma complexidade de , projeções aleatórias e PCA têm uma complexidade de tornando-os "acessíveis" para conjuntos de dados muito grandes.O(nlogn)O(nlog⁡n)O(n\log n)O(n)O(n)O(n) Por outro lado, os métodos baseados no dimensionamento multidimensional têm uma complexidade .O(n2)O(n2)O(n^2) Existem outras técnicas de redução de …

9 pca dimensionality-reduction large-data multidimensional-scaling tsne

1

Não é possível fazer com que esta rede de autoencoder funcione corretamente (com camadas convolutional e maxpool)

As redes de codificadores automáticos parecem ser muito mais complicadas do que as redes MLP classificadoras normais. Depois de várias tentativas usando Lasagne, tudo o que recebo na saída reconstruída é algo que se assemelha, na melhor das hipóteses, a uma média borrada de todas as imagens do banco de …

9 machine-learning neural-networks dimensionality-reduction unsupervised-learning autoencoders

2

Como provar que a suposição múltipla está correta?

No aprendizado de máquina, geralmente é assumido que um conjunto de dados se baseia em uma variedade de baixa dimensão suave (a suposição de variedade), mas existe alguma maneira de provar que, assumindo que certas condições sejam satisfeitas, o conjunto de dados é realmente (aproximadamente) gerado de um coletor suave …

9 machine-learning dimensionality-reduction manifold-learning

3

O ICA requer a execução do PCA primeiro?

Revisei um documento baseado em aplicativos dizendo que aplicando o PCA antes de aplicar o ICA (usando o pacote fastICA). Minha pergunta é: o ICA (fastICA) exige que o PCA seja executado primeiro? Este artigo mencionou que ... também é discutido que a pré-aplicação do PCA aprimora o desempenho da …

9 pca dimensionality-reduction pattern-recognition ica

4

Técnica não ortogonal análoga à PCA

Suponha que eu tenha um conjunto de dados de ponto 2D e queira detectar as direções de todos os máximos locais de variação nos dados, por exemplo: O PCA não ajuda nessa situação, pois é uma decomposição ortogonal e, portanto, não pode detectar ambas as linhas que eu indiquei em …

9 pca dimensionality-reduction

2

Variáveis distorcidas na análise de PCA ou fator

Quero fazer a análise de componentes principais (análise fatorial) no SPSS com base em 22 variáveis. No entanto, algumas das minhas variáveis são muito assimétricas (a assimetria calculada no SPSS varia de 2 a 80!). Então, aqui estão as minhas questões: Devo manter as variáveis assimétricas assim ou posso transformar …

9 pca factor-analysis dimensionality-reduction skewness

3

Qual é o ponto de decomposição de valor singular?

Não entendo por que a redução na dimensão é importante. Qual é o benefício de obter alguns dados e reduzir sua dimensão?

9 dimensionality-reduction svd

Perguntas com a marcação «dimensionality-reduction»