Estatísticas e Big Data text-mining

1

Usando palavras de tópico geradas pelo LDA para representar um documento

Quero fazer a classificação do documento, representando cada documento como um conjunto de recursos. Eu sei que existem muitas maneiras: BOW, TFIDF, ... Desejo usar a Alocação de Dirichlet Latente (LDA) para extrair as palavras-chave de tópico de CADA documento. o documento é representado por estas palavras de tópico. Mas …

8 feature-selection text-mining topic-models latent-dirichlet-alloc

2

Automatizando a correlação estatística entre "textos" e "dados"

Estou coletando dados textuais em torno de press releases, postagens em blogs, resenhas etc. dos produtos e desempenho de determinadas empresas. Especificamente, estou olhando para ver se há correlações entre certos tipos e / ou fontes desse conteúdo "textual" com avaliações de mercado dos símbolos de ações das empresas. Tais …

8 finance correlation text-mining

1

Classificação de conversas com base no conteúdo

Eu gostaria de poder criar um classificador que possa distinguir entre diferentes tipos de conversas (não necessariamente conte nada sobre humor, sinceridade ou resultado, que é um pouco buscado). Saber, por exemplo, que entre 50 amostras de conversas, 10 envolvem ambas as partes buscando informações sobre um evento futuro, 30 …

8 machine-learning classification text-mining

3

Crie uma frase net com R

Alguém conhece um pacote R ou tem uma maneira de criar redes de frases como essa?

8 r data-visualization text-mining

4

Verifique se uma sequência de caracteres não é aleatória

Antecedentes Digamos que temos um alfabeto de A,B, C, D, em seguida, examinamos alguns dados e encontramos uma "palavra" que é DDDDDDDDCDDDDDDa chance de encontrar essa aleatória me parece baixa, enquanto a descoberta BABDCABCDACDBACDparece menos aleatória. Pergunta Como devo verificar se as strings que encontro não são aleatórias? Eu tentei …

8 text-mining randomness

1

Era tão válido executar médias k em uma matriz de distância quanto na matriz de dados (dados de mineração de texto)?

(Esta postagem é uma repostagem de uma pergunta que eu postei ontem (agora excluída), mas tentei reduzir o volume de palavras e simplificar o que estou perguntando) Espero obter ajuda na interpretação de um script e saída do kmeans que criei. Isso ocorre no contexto da análise de texto. Criei …

8 r clustering k-means text-mining

2

Como extrair informações específicas do texto usando o Machine Learning?

Suponha que eu tenha um texto como o abaixo, que geralmente tem 2/3 frases e 100-200 caracteres. Johny comprou leite de 50 dólares do walmart. Agora ele deixou apenas 20 dólares. Eu quero extrair Nome da pessoa: Johny Gasto: 50 dólares Dinheiro restante: 20 dólares. Passado para onde: Walmart. Passei …

7 machine-learning deep-learning data-mining text-mining rnn

1

Por que a maioria dos meus pontos é classificada como ruído usando o DBSCAN?

Estou usando vários algoritmos de cluster do sklearn para agrupar alguns dados e não consigo descobrir o que está acontecendo com o DBSCAN. Meus dados são uma matriz de termos de documento do TfidfVectorizer, com algumas centenas de documentos pré-processados. Código: tfv = TfidfVectorizer(stop_words=STOP_WORDS, tokenizer=StemTokenizer()) data = tfv.fit_transform(dataset) db = …

7 clustering scikit-learn text-mining dbscan

Perguntas com a marcação «text-mining»