Perguntas com a marcação «natural-language»

Não tenho certeza se este é o site de pilha certo, mas aqui vai. Como o método .similiarity funciona? Uau spa é ótimo! Seu modelo tfidf poderia ser mais fácil, mas w2v com apenas uma linha de código ?! Em seu tutorial de 10 linhas sobre spaCy, o andrazhribernik mostra …

13 natural-language  word2vec  tf-idf  nltk 

Eu me pergunto por que o softmax hierárquico é melhor para palavras pouco frequentes, enquanto a amostragem negativa é melhor para palavras frequentes, nos modelos CBOW e skip-gram do word2vec. Li a reivindicação em https://code.google.com/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

Digamos que eu use um RNN / LSTM para fazer análise de sentimentos, que é uma abordagem muitos-para-um (consulte este blog ). A rede é treinada por meio de uma retropropagação truncada ao longo do tempo (BPTT), em que a rede é desenrolada por apenas 30 últimas etapas, como de …

12 neural-networks  deep-learning  natural-language  backpropagation 

Em duas bibliotecas populares de identificação de idiomas, o Compact Language Detector 2 para C ++ e o detector de idiomas para java, ambos usavam n-gramas (baseados em caracteres) para extrair recursos de texto. Por que um pacote de palavras (única palavra / dicionário) não é usado e qual é …

12 machine-learning  classification  text-mining  natural-language 

Descrição: Permita que o domínio do problema seja uma classificação de documento onde exista um conjunto de vetores de recursos, cada um pertencendo a 1 ou mais classes. Por exemplo, um documento doc_1pode pertencer a Sportse Englishcategorias. Questão: Usando rede neural para classificação, qual seria o rótulo para um vetor …

12 machine-learning  neural-networks  natural-language  multilabel 

Estou tendo problemas para entender o modelo de ignorar o algoritmo Word2Vec. Em palavras-chave contínuas, é fácil ver como as palavras de contexto podem "se encaixar" na Rede Neural, uma vez que você as calcula a média depois de multiplicar cada uma das representações de codificação quentes com a matriz …

11 neural-networks  deep-learning  natural-language  word2vec  word-embeddings 

Estou tentando incorporar cerca de 60 milhões de frases em um espaço vetorial e calcular a semelhança de cosseno entre elas. Eu tenho usado o sklearn's CountVectorizercom uma função de tokenizer personalizada que produz unigramas e bigrams. Acontece que, para obter representações significativas, tenho que permitir um número tremendo de …

11 machine-learning  natural-language  word2vec  word-embeddings  cosine-similarity 

Achei um tutorial muito útil sobre o algoritmo EM . O exemplo e a imagem do tutorial são simplesmente brilhantes. Pergunta relacionada sobre como calcular probabilidades como funciona a maximização de expectativas? Eu tenho outra pergunta sobre como conectar a teoria descrita no tutorial ao exemplo. Durante a etapa E, …

11 machine-learning  clustering  algorithms  natural-language 

Uma maneira de gerar incorporação de palavras é a seguinte ( espelho ): Obtenha um corpora, por exemplo: "Gosto de voar. Gosto de PNL. Gosto de aprendizado profundo". Crie a palavra matriz de coocorrência a partir dela: Execute o SVD no XXX e mantenha as primeiras kkk colunas de U. …

11 natural-language  svd  mutual-information  word-embeddings  language-models 

Estou tendo problemas para entender esta frase: A primeira arquitetura proposta é semelhante ao feedforward NNLM, onde a camada oculta não linear é removida e a camada de projeção é compartilhada por todas as palavras (não apenas pela matriz de projeção); assim, todas as palavras são projetadas na mesma posição …

11 machine-learning  neural-networks  natural-language  word-embeddings  language-models 

Para uma tarefa de processamento de linguagem natural (PNL), geralmente se usa vetores word2vec como uma incorporação para as palavras. No entanto, pode haver muitas palavras desconhecidas que não são capturadas pelos vetores word2vec simplesmente porque essas palavras não são vistas com bastante frequência nos dados de treinamento (muitas implementações …

11 natural-language  word2vec  lstm  word-embeddings 

Como quantificar a quantidade de dispersão em um vetor de contagem de palavras? Estou procurando uma estatística que seja alta para o documento A, porque contém muitas palavras diferentes que ocorrem com pouca frequência e baixa para o documento B, porque contém uma palavra (ou algumas palavras) que ocorrem com …

10 variance  natural-language  gini  dispersion  bag-of-words 

Eu estava lendo: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition Mas não consigo entender exatamente por que a fórmula foi construída do jeito que é. O que eu entendo: A FDN deve, em algum nível, medir a frequência com que um termo S aparece em cada um dos documentos, diminuindo em valor à medida que o …

10 machine-learning  clustering  mathematical-statistics  text-mining  natural-language 

Uma abordagem tradicional da construção de recursos para mineração de texto é a abordagem por palavras, e pode ser aprimorada usando tf-idf para configurar o vetor de recursos que caracteriza um determinado documento de texto. No momento, estou tentando usar o modelo de linguagem bi-grama ou (N-grama) para criar vetor …

10 machine-learning  data-mining  text-mining  natural-language  language-models 

Estou tentando agrupar, por exemplo, strings sobre programação com outras strings sobre programação, strings sobre física com outras strings sobre física, etc., para uma ampla gama de tópicos. Apesar do aspecto linguístico teórico gritante do problema, estou procurando fazer isso usando programação / software. Resumo: Dado um grande número de …

10 natural-language  data-mining