Eu tenho uma configuração do Raspberry Pi 2 (mais recente Raspbian a partir de abril de 2015) que na semana passada estava executando o ElasticSearch e o Logstash em uma rede de teste (não é uma configuração direta, mas foi estável por mais de uma semana!). Reiniciei minha máquina hoje e estou tendo muita dificuldade em fazer as coisas funcionarem novamente; ES e LS serão executados independentemente, mas quando tento enviar a saída LS para ES, a instância ES morre sem explicação. Meu objetivo é obter dados de execução e de extração de LS no ES por meio do plug-in de saída padrão.

ElasticSearch [v1.5.0]

Eu acredito que é aqui que está o principal problema. O ES pode inicializar via service elasticsearch starte continua em execução, é acessível via solicitações HTTP para a porta 9200 e todos os sinais de vida parecem íntegros. Assim que algo (pelo que sei) tenta gravar dados em um índice, o processo morre e os logs de depuração @ / var / log / elasticsearch / * não contêm nada relacionado à falha do serviço. Tentei inserir via logstash (veja abaixo) e também com curl, os quais encerram o processo ES. O comando curl que estou executando é curl -XPOST "http://localhost:9200/logstash-2015.04.05/records/" -d "{ \"type\" : \"specialRecord\" }".

Logstash [v1.4.2]

Atualmente, estou executando com esta configuração simples:

input {
    stdin { }
}

output {
        stdout { codec => rubydebug }
        elasticsearch {
                host => '127.0.0.1'
                cluster => 'elasticsearch'
        }
}

Outras notas

Algumas coisas que eu tentei:

• Tentei aumentar os níveis de registro do ElasticSearch para DEBUG / TRACE e a saída é notavelmente desinteressante. É um prazer fornecer logs, se for útil.

• Tentei fornecer ES 256MB e 512MB de espaço de heap, o que parece não afetar nada. Também observei a utilização da memória durante tudo isso e ficar sem memória não parece ser um problema.

• Tentei desabilitar o multicast para tentar eliminar um monte de variáveis ​​de rede, mas isso não pareceu fazer a diferença.

• Garanto que o diretório de dados do ES tenha bastante espaço, permissões de gravação, etc. O ES cria subdiretórios no path.datadiretório quando ele é carregado, mas não acredito que nada seja adicionado, pois, quando reinicio o processo do ES, as estatísticas do índice sugerem que o número total de documentos é zero.

Estou muito perplexo agora e decepcionado que nada que eu precise (ou pelo menos consiga encontrar) esteja sendo registrado. Alguma idéia do que pode estar acontecendo aqui?

Você precisa de mais hardware

Seu raspi pode estar (consideravelmente) com pouca energia para sua carga de trabalho.

Não sou especialista em Elasticstack, mas o configurei em vários cenários de teste e para uso em produção limitada / leve. Na minha experiência, enquanto a configuração inicial requer relativamente poucos recursos, à medida que o número de índices aumenta, o sistema gera significativamente mais IO de disco e carga de CPU.

Isso é especialmente aparente após uma reinicialização enquanto o sistema está recuperando os shards. Se seus índices não forem muito grandes, considere os intervalos mensais em vez dos intervalos diários padrão, o que parece ajudar nesse sentido.