Perguntas com a marcação «dimensionality-reduction»

Na wikipedia, redução de dimensionalidade ou redução de dimensão é o processo de redução do número de variáveis ​​aleatórias em consideração e pode ser dividido em seleção e extração de recursos. Qual é a diferença entre a seleção e extração de recursos? Qual é um exemplo de redução de dimensionalidade …

58 feature-selection  feature-extraction  dimensionality-reduction 

Eu tenho um grande conjunto de dados (cerca de 8 GB). Eu gostaria de usar o aprendizado de máquina para analisá-lo. Então, acho que devo usar SVD e PCA para reduzir a dimensionalidade dos dados para obter eficiência. No entanto, MATLAB e Octave não podem carregar um conjunto de dados …

29 bigdata  data-mining  dimensionality-reduction 

Eu tenho um banco de dados do meu aplicativo do Facebook e estou tentando usar o aprendizado de máquina para estimar a idade dos usuários com base nos sites que eles gostam no Facebook. Existem três características cruciais do meu banco de dados: a distribuição etária no meu conjunto de …

25 machine-learning  dimensionality-reduction  python 

Existem muitas técnicas para a visualização de conjuntos de dados de alta dimensão, como T-SNE, isomap, PCA, PCA supervisionado, etc. " Alguns desses métodos de incorporação (aprendizado múltiplo) são descritos aqui . Mas essa "imagem bonita" é realmente significativa? Que idéias possíveis alguém pode obter tentando visualizar esse espaço incorporado? …

23 machine-learning  dimensionality-reduction  visualization 

Existem significados para as dimensões de uma incorporação t-sne? Como no PCA, temos esse senso de maximizações de variância linearmente transformadas, mas para t-sne há intuição além do espaço que definimos para mapeamento e minimização da distância KL?

18 dimensionality-reduction  tsne 

Eu gostaria de fazer uma redução de dimensionalidade em quase 1 milhão de vetores, cada um com 200 dimensões ( doc2vec). Estou usando a TSNEimplementação do sklearn.manifoldmódulo para ele e o grande problema é a complexidade do tempo. Mesmo com method = barnes_hut, a velocidade da computação ainda é baixa. …

18 python  bigdata  nlp  scikit-learn  dimensionality-reduction 

Eu tenho uma grande matriz esparsa de usuários e itens que eles gostam (na ordem de 1 milhão de usuários e 100 mil itens, com um nível muito baixo de escassez). Estou explorando maneiras pelas quais eu poderia executar a pesquisa kNN nele. Dado o tamanho do meu conjunto de …

17 machine-learning  distributed  map-reduce  dimensionality-reduction 

Entendo pelo artigo de Hinton que o T-SNE faz um bom trabalho em manter as semelhanças locais e um trabalho decente em preservar a estrutura global (clusterização). No entanto, não estou claro se os pontos que aparecem mais próximos em uma visualização t-sne 2D podem ser assumidos como pontos de …

14 visualization  dimensionality-reduction  tsne  manifold 

Devido a várias maldições da dimensionalidade , a precisão e a velocidade de muitas das técnicas preditivas comuns se degradam em dados de alta dimensão. Quais são algumas das técnicas / truques / heurísticas mais úteis que ajudam a lidar com dados de alta dimensão de maneira eficaz? Por exemplo, …

14 machine-learning  statistics  dimensionality-reduction 

A extração e a seleção de recursos reduzem essencialmente a dimensionalidade dos dados, mas a extração de recursos também torna os dados mais separáveis, se eu estiver certo. Qual técnica seria preferida à outra e quando? Eu estava pensando, como a seleção de recursos não modifica os dados originais e …

14 feature-selection  feature-extraction  dimensionality-reduction 

Eu não sou especialista em auto-codificadores ou redes neurais, por qualquer meio, então me perdoe se essa é uma pergunta boba. Para fins de redução de dimensão ou visualização de clusters em dados de alta dimensão, podemos usar um autoencoder para criar uma representação bidimensional (com perdas) inspecionando a saída …

13 neural-network  dimensionality-reduction  autoencoder 

Oi tenho dataframe com grandes valores categóricos acima de 1600 categorias existe alguma maneira de encontrar alternativas para que eu não tenha mais de 1600 colunas. Encontrei este link interessante abaixo http://amunategui.github.io/feature-hashing/#sourcecode Mas eles estão convertendo para classe / objeto que eu não quero. Quero minha saída final como um …

13 machine-learning  dataset  dimensionality-reduction  encoding 

Uma frase comumente ouvida no aprendizado de máquina não supervisionado é Entradas de alta dimensão normalmente vivem em um coletor de baixa dimensão ou próximo a ela O que é uma dimensão? O que é uma variedade? Qual é a diferença? Você pode dar um exemplo para descrever os dois? …

13 machine-learning  dimensionality-reduction 

Eu tenho um conjunto de dados com ~ 1M linhas e ~ 500K recursos esparsos. Quero reduzir a dimensionalidade para algum lugar da ordem dos recursos densos de 1 a 5 mil. sklearn.decomposition.PCAnão funciona com dados esparsos e tentei usar, sklearn.decomposition.TruncatedSVDmas obtive um erro de memória rapidamente. Quais são as …

12 python  scikit-learn  dimensionality-reduction 

Estou prototipando um aplicativo e preciso de um modelo de linguagem para calcular a perplexidade em algumas frases geradas. Existe algum modelo de linguagem treinado em python que eu possa usar facilmente? Algo simples como model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp …

11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision