Agrupando uma longa lista de strings (palavras) em grupos de similaridade

Tenho o seguinte problema em mãos: Tenho uma lista muito longa de palavras, possivelmente nomes, sobrenomes etc. É necessário agrupar essa lista de palavras, de modo que palavras semelhantes, por exemplo palavras com distância de edição semelhante (Levenshtein), apareçam no mesmo cluster. Por exemplo, "algoritmo" e "alogritmo" devem ter grandes chances de aparecer no mesmo cluster.

Conheço bem os métodos clássicos de cluster não supervisionado, como o k-means cluster, o clustering EM na literatura de reconhecimento de padrões. O problema aqui é que esses métodos funcionam em pontos que residem em um espaço vetorial. Eu tenho palavras de cordas na minha mão aqui. Parece que a questão de como representar strings em um espaço vetorial numérico e calcular "meios" de agrupamentos de strings não é suficientemente respondida, de acordo com meus esforços de pesquisa até agora. Uma abordagem ingênua para atacar esse problema seria combinar o agrupamento k-Means com a distância de Levenshtein, mas a questão ainda permanece: "Como representar" os meios "das cordas?". Existe um peso chamado de peso TF-IDF, mas parece que ele está relacionado principalmente à área de agrupamento de "documentos de texto", não ao agrupamento de palavras únicas. http://pike.psu.edu/cleandb06/papers/CameraReady_120.pdf

Minha pesquisa nessa área ainda está em andamento, mas eu também queria obter idéias daqui. O que você recomendaria neste caso, alguém conhece algum método para esse tipo de problema?

Recomendação Seconding @ mican para propagação de afinidade .

Do artigo: L Frey, Brendan J. e Delbert Dueck. "Agrupando passando mensagens entre pontos de dados." Science 315,5814 (2007): 972-976. .

É super fácil de usar através de muitos pacotes. Funciona em qualquer coisa que você possa definir a similaridade pareada. O que você pode obter multiplicando a distância de Levenshtein por -1.

Juntei um exemplo rápido usando o primeiro parágrafo da sua pergunta como entrada. No Python 3:

import numpy as np
import sklearn.cluster
import distance

words = "YOUR WORDS HERE".split(" ") #Replace this line
words = np.asarray(words) #So that indexing with a list will work
lev_similarity = -1*np.array([[distance.levenshtein(w1,w2) for w1 in words] for w2 in words])

affprop = sklearn.cluster.AffinityPropagation(affinity="precomputed", damping=0.5)
affprop.fit(lev_similarity)
for cluster_id in np.unique(affprop.labels_):
    exemplar = words[affprop.cluster_centers_indices_[cluster_id]]
    cluster = np.unique(words[np.nonzero(affprop.labels_==cluster_id)])
    cluster_str = ", ".join(cluster)
    print(" - *%s:* %s" % (exemplar, cluster_str))

A saída foi (exemplos em itálico à esquerda do cluster dos quais são exemplos):

• ter: chances, editar, mão, ter, alto
• seguinte: seguinte
• problem: problem
• I: eu, a, at, etc, na lista de
• possivelmente: possivelmente
• cluster: cluster
• palavra: por, e, por muito tempo, precisa, deve, muito, palavra, palavras
• similar: similar
• Levenshtein: Levenshtein
• distance: distance
• o: que, o, isso, para, com
• mesmo: exemplo, lista, nomes, mesmo, tal, sobrenomes
• algoritmo: algoritmo, alogritmo
• apareça: apareça, apareça

Executando-o em uma lista de 50 nomes aleatórios :

• Diane: Deana, Diane, Dionne, Gerald, Irina, Lisette, Minna, Nicki, Ricki
• Jani: Clair, Jani, Jason, Jc, Kimi, Lang, Marcus, Maxima, Randi, Raul
• Verline: Destino, Kellye, Marylin, Mercedes, Sterling, Verline
• Glenn: Elenor, Glenn, Gwenda
• Armandina: Armandina, Augustina
• Shiela: Ahmed, Estella, Milissa, Shiela, Thresa, Wynell
• Laureen: Outono, Haydee, Laureen, Lauren
• Alberto: Albertha, Alberto, Robert
• Lore: Ammie, Doreen, Eura, Josef, Lore, Lori, Porter

Parece ótimo para mim (isso foi divertido).

Use algoritmos de agrupamento de gráficos, como o agrupamento de Louvain, o RNSC (Restricted Neighborhood Search Clustering), o Affinity Propgation Clustering (APC) ou o algoritmo Markov Cluster (MCL).

Você pode tentar o modelo de espaço vetorial com n-gramas das palavras como entradas de espaço vetorial. Eu acho que você teria que usar uma medida como a semelhança de cosseno neste caso, em vez de editar a distância.