Estatísticas e Big Data text-mining

2

Como calcular a perplexidade de um holdout com Alocação de Dirichlet Latente?

Estou confuso sobre como calcular a perplexidade de uma amostra de validação ao fazer a Alocação de Dirichlet Latente (LDA). Os artigos sobre o assunto brotam, me fazendo pensar que estou perdendo algo óbvio ... A perplexidade é vista como uma boa medida de desempenho para a LDA. A idéia …

18 text-mining topic-models

5

Classificação de texto em grande escala

Estou procurando fazer uma classificação nos meus dados de texto. Tenho 300 classes200 documentos de treinamento por turma (mais ou menos 60000 documents in total) e é provável que isso resulte em dados dimensionais muito altos (podemos estar olhando além das dimensões de 1 milhão ). Gostaria de executar as …

18 machine-learning classification text-mining

1

Quero criar um índice de criminalidade e de instabilidade política com base em notícias

Eu tenho esse projeto paralelo onde rastreio os sites de notícias locais do meu país e quero criar um índice de criminalidade e um índice de instabilidade política. Já abordei a parte de recuperação de informações do projeto. Meu plano é fazer: Extração de tópicos não supervisionados. Detecção de duplicatas …

17 machine-learning classification text-mining

1

Os parâmetros de entrada para usar a alocação latente de Dirichlet

Ao usar a modelagem de tópicos (Alocação de Dirichlet Latente), o número de tópicos é um parâmetro de entrada que o usuário precisa especificar. Parece-me que também devemos fornecer uma coleção de tópicos de candidatos que o processo Dirichlet tem de provar? Meu entendimento está correto? Na prática, como configurar …

17 machine-learning bayesian clustering text-mining dirichlet-distribution

2

Por que o classificador de regressão de cume funciona muito bem para a classificação de texto?

Durante um experimento para classificação de texto, eu encontrei o classificador de cume gerando resultados que constantemente superam os testes entre os classificadores que são mais comumente mencionados e aplicados para tarefas de mineração de texto, como SVM, NB, kNN, etc. Embora eu não tenha elaborado na otimização de cada …

17 machine-learning classification text-mining ridge-regression

1

Previsão de tópico usando alocação latente de Dirichlet

Eu usei o LDA em um corpus de documentos e encontrei alguns tópicos. A saída do meu código é duas matrizes que contêm probabilidades; uma probabilidade de tópico de documento e a outra probabilidade de tópico de palavra. Mas, na verdade, não sei como usar esses resultados para prever o …

17 text-mining topic-models

2

Quando combinamos redução de dimensionalidade com clustering?

Estou tentando executar o cluster no nível do documento. Eu construí a matriz de frequência termo-documento e estou tentando agrupar esses vetores de alta dimensão usando k-means. Em vez de agrupar diretamente, o que eu fiz foi aplicar primeiro a decomposição de vetor singular do LSA (Latent Semantic Analysis) para …

16 clustering pca dimensionality-reduction text-mining svd

2

Qual é um bom método para agrupar curtos textos?

Estou trabalhando em um problema de cluster de texto. Os dados contêm várias frases. Existe um bom algoritmo que alcance alta precisão em textos curtos? Você pode fornecer boas referências? Algoritmos como KMeans, clustering espectral não funcionam bem para esse problema.

15 machine-learning clustering text-mining

4

Mineração de texto: como agrupar textos (por exemplo, artigos de notícias) com inteligência artificial?

Eu construí algumas redes neurais (MLP (totalmente conectadas), Elman (recorrente)) para tarefas diferentes, como jogar Pong, classificar dígitos manuscritos e outras coisas ... Além disso, tentei criar algumas primeiras redes neurais convolucionais, por exemplo, para classificar notas manuscritas de vários dígitos, mas sou completamente novo para analisar e agrupar textos, …

15 clustering neural-networks feature-selection text-mining self-organizing-maps

3

Quais são as diferenças entre análise semântica latente (LSA), indexação semântica latente (LSI) e decomposição de valor singular (SVD)?

Esses termos são reunidos muito, mas eu gostaria de saber quais são as diferenças, se houver. obrigado

15 pca text-mining svd

5

Como fazer a classificação de texto de uma classe?

Eu tenho que lidar com um problema de classificação de texto. Um rastreador da Web rastreia páginas de um determinado domínio e, para cada página da Web, quero descobrir se ele pertence a apenas uma classe específica ou não. Ou seja, se eu chamar essa classe de Positivo , cada …

14 classification text-mining naive-bayes binary-data

3

Modelos de tópicos para documentos curtos

Inspirado por essa pergunta , estou me perguntando se algum trabalho foi feito sobre modelos de tópicos para grandes coleções de textos extremamente curtos. Minha intuição é que o Twitter seja uma inspiração natural para esses modelos. No entanto, a partir de algumas experiências limitadas, parece que os modelos de …

14 references text-mining topic-models natural-language

2

Exemplos de mineração de texto com R (pacote tm)

Passei três dias brincando tmdepois de ler um rascunho de um amigo, onde ele explorou um corpus de texto com o UCINET, mostrando nuvens de texto, gráficos de rede em dois modos e decomposição de valor único (com gráficos, usando Stata). Corri sob um grande número de questões: no Mac …

14 r text-mining

2

Em que n gramas n se tornam contraproducentes?

Ao fazer o processamento da linguagem natural, pode-se pegar um corpus e avaliar a probabilidade da próxima palavra ocorrer em uma sequência de n. n é geralmente escolhido como 2 ou 3 (bigrams e trigramas). Existe um ponto conhecido em que o rastreamento dos dados para a enésima cadeia se …

13 text-mining natural-language

1

Extração automática de palavras-chave: usando semelhanças de cosseno como recursos

Eu tenho uma matriz de termos de documentos e agora gostaria de extrair palavras-chave para cada documento com um método de aprendizado supervisionado (SVM, Naive Bayes, ...). Neste modelo, eu já uso Tf-idf, tag Pos, ...MMM Mas agora estou me perguntando sobre os próximos. Eu tenho uma matriz com as …

12 text-mining feature-construction supervised-learning cosine-distance cosine-similarity

Perguntas com a marcação «text-mining»