ELK Stack (Logstash, Elasticsearch e Kibana) com servidor syslog remoto simultâneo?

Estou criando um serviço de analisador de logs para começar a monitorar principalmente nossos firewalls pfSense, XenServer Hypervisors, servidores FreeBSD / Linux e servidores Windows.

Há muita documentação na internet sobre a pilha ELK e como fazê-la funcionar bem. Mas gostaria de usá-lo de uma maneira diferente, mas não sei se é uma boa solução ou apenas uma perda de tempo / espaço em disco.

Eu já tenho uma máquina FreeBSD 10.2 atuando como um servidor syslog remoto, e minha ideia é simplesmente concentrar todos os logs nesta máquina e eles o servidor syslog encaminha os logs logstash-forwarderpara o servidor ELK.

Está claro para mim que essa abordagem aumentará os requisitos de disco para essa configuração, mas, por outro lado, terei apenas uma máquina com o logstash-forwarderdaemon instalado, o que me parece bom.

Mas falando sobre problemas. O logstashanalisador corresponde [host]ao nome do host do servidor que está enviando as mensagens de log e, nessa abordagem, existe apenas no programa "server" no ELK, o servidor syslog remoto.

Estou ciente de que posso personalizar as configurações nos logstasharquivos de configuração, mas não sei (e não tenho experiência para saber) se essa é apenas uma configuração simples nos analisadores, se isso comprometer todo o ELK experiência.

No final, só quero alguns conselhos sobre minha arquitetura de log e se ela funcionará ou se devo seguir sem outra opção.

Desde já, obrigado,

— Vinícius Ferrão
fonte

Eu tenho certeza que o que você quer fazer é possível, mas detalhes sobre o formato em que você está acessando o servidor syslog central, a taxa de registro, etc., serão ótimos. Além disso, fazer uma pergunta específica fornecerá respostas muito melhores do que simplesmente dizer "Estou perdido, por favor, ajude".

— GregL

Você já considerou graylog? Você pode usar a entrada syslog graylog para inserir o syslog no elasticsearch. A partir daí, você pode usar o Kibana e o graylog possui um extrator syslog / pfsense disponível.

— Davey #

Logstash também tem um syslog entrada ...

— GregL

Sim. É possível alterar o hostcampo na saída do logstash com o rubyfiltro sem muito aborrecimento.

    ruby {
            code => "
                    event['host'] = event['message'].split(' ')[3]
                   "
    }

Aqui assumi que, nos logs do servidor syslog, o campo host é o quarto campo em que o espaço em branco é o separador.

— 7171u
fonte