Perguntas com a marcação «word-embeddings»

Em muitas bibliotecas de redes neurais, existem 'camadas de incorporação', como em Keras ou Lasagne . Não sei se entendi sua função, apesar de ler a documentação. Por exemplo, na documentação do Keras, ele diz: Transforme números inteiros positivos (índices) em vetores densos de tamanho fixo, por exemplo. [[4], [20]] …

92 machine-learning  neural-networks  python  word-embeddings 

Precisa entender o funcionamento da camada 'Incorporação' na biblioteca Keras. Eu executo o seguinte código em Python import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array = np.random.randint(5, size=(1, 5)) model.compile('rmsprop', 'mse') output_array = model.predict(input_array) que fornece a seguinte saída …

70 text-mining  word-embeddings  keras 

Como uso uma incorporação de palavras para mapear um documento para um vetor de recurso, adequado para uso com aprendizado supervisionado? Uma incorporação de palavra mapeia cada palavra para um vetor , onde é um número não muito grande (por exemplo, 500). Os casamentos populares de palavras incluem word2vec e …

38 classification  natural-language  supervised-learning  word2vec  word-embeddings 

Depois de treinar vetores de palavras com o word2vec, é melhor normalizá-los antes de usá-los para alguns aplicativos a jusante? Ou seja, quais são os prós / contras de normalizá-los?

38 natural-language  word2vec  word-embeddings 

Estou usando o sinal de intercalação para executar uma floresta aleatória validada cruzada em um conjunto de dados. A variável Y é um fator. Não há NaN, Inf ou NA no meu conjunto de dados. No entanto, ao executar a floresta aleatória, recebo Error in randomForest.default(m, y, ...) : NA/NaN/Inf …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Fiquei impressionado com os resultados no artigo da ICML 2014 " Representações distribuídas de frases e documentos " de Le e Mikolov. A técnica que eles descrevem, denominada "vetores de parágrafos", aprende representações não supervisionadas de parágrafos / documentos arbitrariamente longos, com base em uma extensão do modelo word2vec. O …

20 text-mining  natural-language  word-embeddings  sentiment-analysis  reproducible-research 

Eu tenho me esforçado bastante para entender o conceito de amostragem negativa no contexto do word2vec. Eu sou incapaz de digerir a idéia de amostragem [negativa]. Por exemplo, nos trabalhos de Mikolov, a expectativa de amostragem negativa é formulada como registroσ( ⟨ W , c ⟩ ) + k ⋅ …

19 machine-learning  word2vec  word-embeddings 

Eu me pergunto por que o skip-gram é melhor para palavras pouco frequentes do que o CBOW no word2vec. Li a reivindicação em https://code.google.com/p/word2vec/ .

19 natural-language  word2vec  word-embeddings 

Como a camada de incorporação é treinada na camada de incorporação Keras? (digamos, usando back-end tensorflow, o que significa que é semelhante ao word2vec, glove ou fasttext) Suponha que não usamos uma incorporação pré-treinada.

13 deep-learning  keras  word-embeddings 

Eu me pergunto por que o softmax hierárquico é melhor para palavras pouco frequentes, enquanto a amostragem negativa é melhor para palavras frequentes, nos modelos CBOW e skip-gram do word2vec. Li a reivindicação em https://code.google.com/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

Estou tendo problemas para entender o modelo de ignorar o algoritmo Word2Vec. Em palavras-chave contínuas, é fácil ver como as palavras de contexto podem "se encaixar" na Rede Neural, uma vez que você as calcula a média depois de multiplicar cada uma das representações de codificação quentes com a matriz …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Estou tentando incorporar cerca de 60 milhões de frases em um espaço vetorial e calcular a semelhança de cosseno entre elas. Eu tenho usado o sklearn's CountVectorizercom uma função de tokenizer personalizada que produz unigramas e bigrams. Acontece que, para obter representações significativas, tenho que permitir um número tremendo de …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

Eu sou muito novo em casamentos de palavras. Quero visualizar como os documentos estão cuidando da aprendizagem. Eu li que t-SNE é a abordagem para fazê-lo. Tenho 100 mil documentos com 250 dimensões como o tamanho da incorporação. Existem vários pacotes disponíveis também. No entanto, para t-SNE, não sei quantas …

11 pca  dimensionality-reduction  word2vec  word-embeddings  tsne 

Uma maneira de gerar incorporação de palavras é a seguinte ( espelho ): Obtenha um corpora, por exemplo: "Gosto de voar. Gosto de PNL. Gosto de aprendizado profundo". Crie a palavra matriz de coocorrência a partir dela: Execute o SVD no XXX e mantenha as primeiras kkk colunas de U. …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

Estou tendo problemas para entender esta frase: A primeira arquitetura proposta é semelhante ao feedforward NNLM, onde a camada oculta não linear é removida e a camada de projeção é compartilhada por todas as palavras (não apenas pela matriz de projeção); assim, todas as palavras são projetadas na mesma posição …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models