Perguntas com a marcação «nltk»

Estou lendo este livro ( NLTK ) e é confuso. Entropia é definida como : Entropia é a soma da probabilidade de cada rótulo vezes a probabilidade de log desse mesmo rótulo Como posso aplicar entropia e entropia máxima em termos de mineração de texto? Alguém pode me dar um …

338 math  text  computer-science  nltk  text-mining 

Ao tentar carregar o punkttokenizer ... import nltk.data tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle') ... a LookupErrorfoi criado: > LookupError: > ********************************************************************* > Resource 'tokenizers/punkt/english.pickle' not found. Please use the NLTK Downloader to obtain the resource: nltk.download(). Searched in: > - 'C:\\Users\\Martinos/nltk_data' > - 'C:\\nltk_data' > - 'D:\\nltk_data' > - 'E:\\nltk_data' > - …

144 python  jenkins  nltk 

Como localizo uma lista com todas as possíveis tags pos usadas pelo Natural Language Toolkit (nltk)?

141 python  nltk 

Estou procurando uma maneira de dividir um texto em n gramas. Normalmente eu faria algo como: import nltk from nltk import bigrams string = "I really like python, it's pretty awesome." string_bigrams = bigrams(string) print string_bigrams Estou ciente de que o nltk oferece apenas bigrams e trigramas, mas existe uma …

137 python  string  nltk  n-gram 

Quero verificar em um programa Python se uma palavra está no dicionário de inglês. Acredito que a interface nltk wordnet possa ser o caminho a seguir, mas não tenho idéia de como usá-la para uma tarefa tão simples. def is_english_word(word): pass # how to I implement is_english_word? is_english_word(token.lower()) No futuro, …

134 python  nltk  wordnet 

Quando uso cada um? Além disso ... a lematização do NLTK depende de partes do discurso? Não seria mais preciso se fosse?

131 python  nlp  nltk  lemmatization 

Estou começando a usar o NLTK e não entendo como obter uma lista de palavras do texto. Se eu usar nltk.word_tokenize(), recebo uma lista de palavras e pontuação. Eu preciso apenas das palavras. Como posso me livrar da pontuação? Também word_tokenizenão funciona com várias frases: pontos são adicionados à última …

125 python  nlp  tokenize  nltk 

Então, eu tenho um conjunto de dados que gostaria de remover palavras de parada de usar stopwords.words('english') Estou lutando para usar isso no meu código para simplesmente tirar essas palavras. Já tenho uma lista das palavras deste conjunto de dados, a parte com a qual estou lutando é comparando a …

110 python  nltk  stop-words 

No script de shell, estou verificando se esses pacotes estão instalados ou não, se não estiverem instalados, instale-os. Portanto, com o script de shell: import nltk echo nltk.__version__ mas para o script de shell na importlinha no terminal linux tentei ver desta maneira: which nltk que não dá a impressão …

102 python  linux  shell  scikit-learn  nltk 

Tenho dificuldade em usar o pip para instalar quase tudo. Eu sou novo em programação, então pensei que talvez fosse algo que eu estava fazendo errado e optei por easy_install para obter a maior parte do que eu precisava, o que geralmente funcionou. No entanto, agora estou tentando fazer o …

101 python  pip  nltk  easy-install 

Meu código: import nltk.data tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle') Mensagem de erro: [ec2-user@ip-172-31-31-31 sentiment]$ python mapper_local_v1.0.py Traceback (most recent call last): File "mapper_local_v1.0.py", line 16, in <module> tokenizer = nltk.data.load('nltk:tokenizers/punkt/english.pickle') File "/usr/lib/python2.6/site-packages/nltk/data.py", line 774, in load opened_resource = _open(resource_url) File "/usr/lib/python2.6/site-packages/nltk/data.py", line 888, in _open return find(path_, path + ['']).open() File "/usr/lib/python2.6/site-packages/nltk/data.py", …

96 python  unix  nltk 

É possível usar o Stanford Parser no NLTK? (Não estou falando sobre Stanford POS.)

90 python  parsing  nlp  nltk  stanford-nlp 

Eu estava seguindo um tutorial que estava disponível na Parte 1 e Parte 2 . Infelizmente, o autor não teve tempo para a seção final que envolvia o uso de similaridade de cosseno para realmente encontrar a distância entre dois documentos. Segui os exemplos do artigo com a ajuda do …

90 python  machine-learning  nltk  information-retrieval  tf-idf 

Como configurar o diretório de dados nltk a partir do código?

88 python  path  directory  nlp  nltk 

Achei que muitas vezes a resposta ao meu título é ir e ler a documentação, mas eu li o livro NLTK, mas não dá a resposta. Sou meio novo em Python. Tenho .txtmuitos arquivos e quero poder usar as funções de corpus que o NLTK fornece para o corpus nltk_data. …

83 python  nlp  nltk  corpus