Alguém pode explicar a diferença entre os diferentes analisadores no Lucene? Estou recebendo uma exceção maxClauseCount e entendo que posso evitar isso usando um KeywordAnalyzer, mas não quero mudar do StandardAnalyzer sem entender os problemas que envolvem os analisadores. Muito obrigado.
Respostas:
Em geral, qualquer analisador no Lucene é tokenizer + lematizador + filtro de palavras de interrupção.
O tokenizer divide seu texto em pedaços e, como diferentes analisadores podem usar diferentes tokenizadores, você pode obter diferentes fluxos de tokens de saída , ou seja, sequências de pedaços de texto. Por exemplo, KeywordAnalyzervocê mencionou que não divide o texto e considera todos os campos como um único token. Ao mesmo tempo, StandardAnalyzer(e a maioria dos outros analisadores) usam espaços e pontuação como pontos de divisão. Por exemplo, para a frase "Estou muito feliz", ela produzirá uma lista ["eu", "sou", "muito", "feliz"] (ou algo parecido). Para obter mais informações sobre analisadores / tokenizadores específicos, consulte seus Java Docs .
Os lematizadores são usados para obter a base de uma palavra em questão. Depende muito da linguagem usada. Por exemplo, para a frase anterior em inglês haverá algo como ["i", "be", "veri", "happi"] produzido, e para o francês "Je suis très heureux" algum tipo de analisador francês (como SnowballAnalyzer, inicializado com "francês") produzirá ["je", "être", "tre", "heur"]. Obviamente, se você usar o analisador de um idioma para derivar o texto em outro, as regras do outro idioma serão usadas e o lematizador pode produzir resultados incorretos. Não é falha de todo o sistema, mas os resultados da pesquisa podem ser menos precisos.
KeywordAnalyzernão usa lematizadores, passa todo o campo sem modificações. Portanto, se você for pesquisar algumas palavras em um texto em inglês, não é uma boa ideia usar este analisador.
Palavras irrelevantes são as palavras mais frequentes e quase inúteis. Novamente, isso depende muito do idioma. Para o inglês, essas palavras são "a", "the", "I", "be", "have", etc. Filtros de palavras irrelevantes as removem do fluxo de tokens para reduzir o ruído nos resultados da pesquisa, então finalmente nossa frase "I estou muito feliz "com StandardAnalyzerserá transformado em lista [" veri "," happi "].
E KeywordAnalyzernovamente não faz nada. Portanto, KeywordAnalyzeré usado para coisas como ID ou números de telefone, mas não para texto normal.
E quanto à sua maxClauseCountexceção, acredito que você o entende na busca. Neste caso, provavelmente é devido a uma consulta de pesquisa muito complexa. Tente dividi-lo em várias consultas ou use funções de nível mais baixo.