Perguntas com a marcação «tfidf»

Estou convertendo um corpus de documentos de texto em vetores de palavras para cada documento. Eu tentei isso usando um TfidfVectorizer e um HashingVectorizer Entendo que um HashingVectorizernão leva em consideração as IDFpontuações como um TfidfVectorizerfaz. A razão pela qual ainda estou trabalhando com a HashingVectorizeré a flexibilidade que ela …

11 nlp  scikit-learn  text-mining  tfidf 

Ao treinar o modelo word2vec (usando, por exemplo, gensim), você fornece uma lista de palavras / frases. Mas não parece haver uma maneira de especificar pesos para as palavras calculadas, por exemplo, usando TF-IDF. A prática usual é multiplicar a incorporação de vetores de palavras com o peso associado ao …

11 machine-learning  nlp  word2vec  language-model  tfidf 

Qual é a melhor / maneira correta de combinar a análise de texto com outros recursos? Por exemplo, eu tenho um conjunto de dados com algum texto, mas também outros recursos / categorias. O vetorizador TF-IDF do SKlearn transforma dados de texto em matrizes esparsas. Eu posso usar essas matrizes …

8 python  scikit-learn  pandas  tfidf