Como verificar se uma palavra é uma palavra em inglês com Python?

Quero verificar em um programa Python se uma palavra está no dicionário de inglês.

Acredito que a interface nltk wordnet possa ser o caminho a seguir, mas não tenho idéia de como usá-la para uma tarefa tão simples.

def is_english_word(word):
    pass # how to I implement is_english_word?

is_english_word(token.lower())

No futuro, talvez eu queira verificar se a forma singular de uma palavra está no dicionário (por exemplo, propriedades -> propriedade -> palavra em inglês). Como eu conseguiria isso?

Para (muito) mais poder e flexibilidade, use uma biblioteca dedicada de verificação ortográfica, como PyEnchant. Há um tutorial , ou você pode mergulhar direto:

>>> import enchant
>>> d = enchant.Dict("en_US")
>>> d.check("Hello")
True
>>> d.check("Helo")
False
>>> d.suggest("Helo")
['He lo', 'He-lo', 'Hello', 'Helot', 'Help', 'Halo', 'Hell', 'Held', 'Helm', 'Hero', "He'll"]
>>>

PyEnchantvem com alguns dicionários (en_GB, en_US, de_DE, fr_FR), mas pode usar qualquer um dos OpenOffice se você quiser mais idiomas.

Parece haver uma biblioteca de pluralização chamada inflect, mas não tenho idéia se é bom.

Não funcionará bem com o WordNet, porque o WordNet não contém todas as palavras em inglês. Outra possibilidade baseada no NLTK sem encantar é o corpus de palavras do NLTK

>>> from nltk.corpus import words
>>> "would" in words.words()
True
>>> "could" in words.words()
True
>>> "should" in words.words()
True
>>> "I" in words.words()
True
>>> "you" in words.words()
True

Usando o NLTK :

from nltk.corpus import wordnet

if not wordnet.synsets(word_to_test):
  #Not an English Word
else:
  #English Word

Você deve consultar este artigo se tiver problemas para instalar o wordnet ou quiser tentar outras abordagens.

Usar um conjunto para armazenar a lista de palavras, pois sua busca será mais rápida:

with open("english_words.txt") as word_file:
    english_words = set(word.strip().lower() for word in word_file)

def is_english_word(word):
    return word.lower() in english_words

print is_english_word("ham")  # should be true if you have a good english_words.txt

Para responder à segunda parte da pergunta, os plurais já estariam em uma boa lista de palavras, mas se você quisesse especificamente excluí-los da lista por algum motivo, poderia escrever uma função para lidar com isso. Mas as regras de pluralização em inglês são complicadas o suficiente para incluir apenas os plurais na lista de palavras.

Quanto a onde encontrar listas de palavras em inglês, encontrei várias pesquisando no Google "lista de palavras em inglês". Aqui está um: http://www.sil.org/linguistics/wordlists/english/wordlist/wordsEn.txt Você pode usar o Google para inglês britânico ou americano, se quiser especificamente um desses dialetos.

Para uma solução mais rápida baseada em NLTK, você pode fazer o hash do conjunto de palavras para evitar uma pesquisa linear.

from nltk.corpus import words as nltk_words
def is_english_word(word):
    # creation of this dictionary would be done outside of 
    #     the function because you only need to do it once.
    dictionary = dict.fromkeys(nltk_words.words(), None)
    try:
        x = dictionary[word]
        return True
    except KeyError:
        return False

Acho que existem 3 soluções baseadas em pacotes para resolver o problema. São pyenchant, wordnet e corpus (auto-definidos ou do ntlk). O Pyenchant não pôde ser instalado facilmente no win64 com o py3 . O Wordnet não funciona muito bem porque seu corpus não está completo. Então, para mim, escolho a solução respondida por @Sadik e uso 'set (words.words ())' para acelerar.

Primeiro:

pip3 install nltk
python3

import nltk
nltk.download('words')

Então:

from nltk.corpus import words
setofwords = set(words.words())

print("hello" in setofwords)
>>True

Com pyEnchant.checker SpellChecker:

from enchant.checker import SpellChecker

def is_in_english(quote):
    d = SpellChecker("en_US")
    d.set_text(quote)
    errors = [err.word for err in d]
    return False if ((len(errors) > 4) or len(quote.split()) < 3) else True

print(is_in_english('“办理美国加州州立大学圣贝纳迪诺分校高仿成绩单Q/V2166384296加州州立大学圣贝纳迪诺分校学历学位认证'))
print(is_in_english('“Two things are infinite: the universe and human stupidity; and I\'m not sure about the universe.”'))

> False
> True

Para uma abordagem semântica da Web, você pode executar uma consulta sparql no WordNet no formato RDF . Basicamente, basta usar o módulo urllib para emitir a solicitação GET e retornar resultados no formato JSON, analisar usando o módulo python 'json'. Se não for uma palavra em inglês, você não obterá resultados.

Como outra idéia, você pode consultar a API do Wikcionário .

Para todos os usuários Linux / Unix

Se o seu sistema operacional usa o kernel do Linux, existe uma maneira simples de obter todas as palavras do dicionário inglês / americano. No diretório /usr/share/dictvocê tem um wordsarquivo. Há também um mais específico american-englishe british-englisharquivos. Eles contêm todas as palavras nesse idioma específico. Você pode acessar isso em todas as linguagens de programação, e é por isso que pensei que você gostaria de saber sobre isso.

Agora, para usuários específicos do python, o código python abaixo deve atribuir as palavras da lista ao valor de cada palavra:

import re
file = open("/usr/share/dict/words", "r")
words = re.sub("[^\w]", " ",  file.read()).split()

def is_word(word):
    return word.lower() in words

is_word("tarts") ## Returns true
is_word("jwiefjiojrfiorj") ## Returns False

Espero que isto ajude!!!