Como posso agrupar strings por temas comuns?

Estou tentando agrupar, por exemplo, strings sobre programação com outras strings sobre programação, strings sobre física com outras strings sobre física, etc., para uma ampla gama de tópicos. Apesar do aspecto linguístico teórico gritante do problema, estou procurando fazer isso usando programação / software.

Resumo: Dado um grande número de strings, como eu os agruparia por tema semântico?

A aplicação específica: tenho ~ 200.000 perguntas triviais que gostaria de categorizar em grupos comuns (carros, computadores, política, Canadá, comida, Barack Obama, etc.).

O que eu procurei: A Wikipedia tem uma lista de kits de ferramentas de processamento de linguagem natural (supondo que o que estou tentando fazer seja realmente chamado de PNL), então observei alguns, mas nenhum parece fazer algo semelhante às minhas necessidades.

Notas: Foi salientado que isso requer conhecimento adicional (por exemplo, um Porsche sendo um carro, C ++ sendo uma linguagem de programação). Suponho que sejam necessários dados de treinamento, mas se eu tiver apenas a lista de perguntas e respostas, como posso gerar dados de treinamento? E então, como uso os dados de treinamento?

Mais notas: Se a formatação atual das minhas perguntas e respostas (embora pareça com JSON, é basicamente um arquivo de texto bruto):

// row 1: is metadata
// row 2: is a very specific kind of "category"
// row 3: is the question
// row 4: is the answer
{
  15343
  A MUSICAL PASTICHE
  Of classical music's "three B's", he was the one born in Hamburg in 1833
  Johannes Brahms
}

Mas antes que alguém aponte que já existe uma categoria, observe que existem ~ 200 mil perguntas e respostas como essa e basicamente tantas "categorias". Estou tentando agrupá-los em grupos mais amplos, como os listados acima. Além disso, essa formatação pode ser alterada para todas as perguntas com muita facilidade, faço-o programaticamente.

E mais notas: na verdade, não sei quantas categorias vou precisar (pelo menos 10 a 20), porque eu mesmo não li todas as perguntas. Eu estava parcialmente esperando ter o número finito determinado de alguma forma durante a categorização. De qualquer forma, sempre posso criar manualmente várias categorias.

Esse é um problema bastante padrão na PNL, e as palavras mágicas do Google que você procura são "modelagem de tópicos". Embora suas seqüências de caracteres sejam bastante curtas, você pode ter algum sucesso com a Alocação de Dirichlet Latente ou um método semelhante. Há um bom post de Edwin Chen aqui , que expõe a idéia geral por trás do algoritmo. Os detalhes da implementação são abordados nesta nota por Yi Wang.

Se você está procurando uma solução pronta para o uso, recomendo experimentar o topicmodelspacote para o R, pois isso fornece uma interface razoavelmente boa para o LDA e um modelo de tópico correlacionado mais sofisticado. Também há uma boa lista de implementações mantidas por David Mimno aqui .

Você está tentando resolver dois problemas aqui.

Problema 1: Categorize as sequências de perguntas na categoria apropriada.

Problema 2: Crie categorias apropriadas.

O primeiro problema pode ser resolvido pelos chamados algoritmos supervisionados; muitos classificadores podem fornecer precisão e desempenho muito bons. No entanto, o problema 2, criando categorias do nada (toneladas de dados), é muito mais complicado. Esse é um problema não supervisionado, considerando muitos dados que o computador decide autonomicamente categorias, com base em alguns critérios. Idealmente, esses critérios e o algoritmo devem organizar seus dados ordenadamente em clusters. Estes podem então ser rotulados. No entanto, como essa é uma tarefa muito mais difícil, eu diria que não há aqui uma solução aceitável que dê um bom resultado sem muito esforço de ajuste, o que provavelmente exigiria especialistas.

Então, receio que ainda não haja um botão mágico aqui. O que você pode fazer, no entanto, é ajudar a máquina um pouco. Por exemplo, você pode decidir sobre o conjunto de categorias. Quando você decide as categorias, pode criar dados de treinamento. Nesta configuração, os dados de treinamento são apenas perguntas e pares de categorias corretos.

Quanto mais dados de treinamento, melhor. No entanto, como a tarefa ainda é algo automaticamente, não faz sentido, a princípio, começar a fazer as coisas manualmente. Agora, por que você gostaria de ter dados de treinamento? Avaliação de precisão. Se você deseja bons resultados, é vital que você possa realizar algum tipo de avaliação sobre o desempenho de uma configuração. E a única maneira de fazer isso de maneira sistemática é rotular manualmente algumas questões. Caso contrário, você está cego.

Então, algumas novas questões surgem. Primeiro: Quantos dados de treinamento eu preciso? "Depende". Sem ter visto seus dados ou categorias, não tenho certeza de que adivinhe; mas posso fazer uma "estimativa aproximada" e dizer cerca de 500 perguntas. Note que eu poderia estar desligado por uma ordem de magnitude.

Isso realmente significa que você teria que marcar 500 perguntas manualmente? Sim e não. É possível usar resultados intermediários e alguma inteligência para classificar "bootstrap". No entanto, ainda é um trabalho manual e, quando você pensa sobre isso, 500 perguntas não demoram muito para serem etiquetadas. Ser inteligente aqui pode rapidamente dar resultados piores do que ser diligente.

Quando você tiver dados de treinamento em quantidade suficiente, pegue 75% deles e crie um classificador usando sua ferramenta favorita (por exemplo, os mencionados aqui ou outros enfeites). Agora, deixe o classificador tentar rotular os 25% dos dados contidos e medir a precisão resultante. Se o resultado for bom, tome champanhe. Caso contrário, faça mais dados de treinamento ou tente outro classificador.

TL; DR

Em resumo, eis como eu teria feito isso.

0) Use a supervised learner.
1) Create a category set yourself. 
2) Label manually about 500 questions
3) Use 75% of those to train a classifier.
4) Check performance.
5) If good then cheers else goto 2.