Como criador do ElasticSearch, talvez eu possa lhe dar alguns argumentos sobre o motivo pelo qual fui adiante e o criei em primeiro lugar :).
Usar o Lucene puro é desafiador. Há muitas coisas que você precisa cuidar, se você quer realmente ter um bom desempenho, e também é uma biblioteca, portanto, não há suporte distribuído, é apenas uma biblioteca Java incorporada que você precisa manter.
Em termos de usabilidade do Lucene, quando (quase 6 anos) eu criei o Compass. Seu objetivo era simplificar o uso do Lucene e tornar o Lucene cotidiano mais simples. O que eu encontrei várias vezes é o requisito de poder ter o Compass distribuído. Comecei a trabalhar nele a partir do Compass, integrando soluções de grade de dados como GigaSpaces, Coherence e Terracotta, mas não é suficiente.
Em sua essência, uma solução Lucene distribuída precisa ser fragmentada. Além disso, com o avanço do HTTP e JSON como APIs onipresentes, significa que uma solução em que muitos sistemas diferentes com idiomas diferentes podem ser facilmente usados.
Por isso fui em frente e criei o ElasticSearch. Ele possui um modelo distribuído muito avançado, fala JSON nativamente e expõe muitos recursos avançados de pesquisa, todos expressos de maneira uniforme por meio do JSON DSL.
O Solr também é uma solução para expor um servidor de indexação / pesquisa por HTTP, mas eu argumentaria que o ElasticSearch fornece um modelo distribuído e uma facilidade de uso muito superiores (embora atualmente não haja alguns dos recursos de pesquisa, mas não por muito tempo, e em qualquer Nesse caso, o plano é incluir todos os recursos do Compass no ElasticSearch). É claro que sou tendencioso, desde que criei o ElasticSearch, então você pode precisar verificar por si mesmo.
Quanto ao Sphinx, eu não o usei, então não posso comentar. O que posso referir é sobre este tópico no fórum da Sphinx, que acho que prova o modelo distribuído superior do ElasticSearch.
Obviamente, o ElasticSearch possui muito mais recursos do que apenas ser distribuído. Na verdade, é construído com uma nuvem em mente. Você pode verificar a lista de recursos no site.