Perguntas com a marcação «topic-models»

Parece-me que apenas dois pacotes R são capazes de executar a Alocação de Dirichlet Latente : Um é lda, de autoria de Jonathan Chang; e o outro é de topicmodelsautoria de Bettina Grün e Kurt Hornik. Quais são as diferenças entre esses dois pacotes, em termos de desempenho, detalhes de …

29 r  bayesian  text-mining  topic-models  latent-dirichlet-alloc 

Modelos de tópicos populares como o LDA geralmente agrupam palavras que tendem a co-ocorrer juntas no mesmo tópico (cluster). Qual é a principal diferença entre esses modelos de tópicos e outras abordagens simples de cluster baseadas em co-ocorrência como o PMI? (PMI, sigla em inglês: Pointwise Mutual Information, e é …

26 machine-learning  text-mining  natural-language  topic-models 

Estou trabalhando em um projeto no qual desejo extrair algumas informações sobre o conteúdo de uma série de ensaios abertos. Nesse projeto em particular, 148 pessoas escreveram ensaios sobre uma organização hipotética de estudantes como parte de um experimento maior. Embora no meu campo (psicologia social), a maneira típica de …

23 machine-learning  model-selection  small-sample  topic-models  dirichlet-process 

Alguém pode explicar qual é a interpretação natural para os hiperparâmetros LDA? ALPHAe BETAsão parâmetros de distribuições Dirichlet para distribuições de tópicos (por documento) e (por tópico) palavras, respectivamente. No entanto, alguém pode explicar o que significa escolher valores maiores desses hiperparâmetros versus valores menores? Isso significa colocar alguma crença …

21 interpretation  prior  topic-models  hyperparameter 

Estou confuso sobre como calcular a perplexidade de uma amostra de validação ao fazer a Alocação de Dirichlet Latente (LDA). Os artigos sobre o assunto brotam, me fazendo pensar que estou perdendo algo óbvio ... A perplexidade é vista como uma boa medida de desempenho para a LDA. A idéia …

18 text-mining  topic-models 

Eu usei o LDA em um corpus de documentos e encontrei alguns tópicos. A saída do meu código é duas matrizes que contêm probabilidades; uma probabilidade de tópico de documento e a outra probabilidade de tópico de palavra. Mas, na verdade, não sei como usar esses resultados para prever o …

17 text-mining  topic-models 

Inspirado por essa pergunta , estou me perguntando se algum trabalho foi feito sobre modelos de tópicos para grandes coleções de textos extremamente curtos. Minha intuição é que o Twitter seja uma inspiração natural para esses modelos. No entanto, a partir de algumas experiências limitadas, parece que os modelos de …

14 references  text-mining  topic-models  natural-language 

Eu tenho um conjunto de dados contendo atividade do usuário com 168 dimensões, onde desejo extrair clusters usando aprendizado não supervisionado. Não é óbvio para mim se devo usar uma abordagem de modelagem de tópicos na alocação de Dirichlet Latente (LDA) ou Modelos de Mistura Gaussiana (GMM), que é mais …

8 clustering  gaussian-mixture  unsupervised-learning  topic-models 

Quero fazer a classificação do documento, representando cada documento como um conjunto de recursos. Eu sei que existem muitas maneiras: BOW, TFIDF, ... Desejo usar a Alocação de Dirichlet Latente (LDA) para extrair as palavras-chave de tópico de CADA documento. o documento é representado por estas palavras de tópico. Mas …

8 feature-selection  text-mining  topic-models  latent-dirichlet-alloc