Enviando logs para o servidor Graylog2

Acabei de configurar um servidor Graylog2 e pretendo enviar todos os logs do meu servidor principal para o servidor graylog. Ativei o log do servidor principal e estou enviando logs para o meu servidor graylog adicionando *.* @logs.example.com:1337a /etc/rsyslog.conf.

O que eu quero é que o Graylog2 colete todos os meus logs do Apache, logs do sistema (para logins SSH, logons rejeitados) e quaisquer outros logs que eu precise monitorar.

Para os logs do Apache, eu também gostaria dos logs do Rails. Meus sites estão localizados /srv/www/e, em seguida, a estrutura é sitename.com/public_htmle sitename.com/logs. Eu tenho muitos sites no servidor e gostaria de uma maneira fácil de visualizar todos os erros e criar alguns gráficos interessantes, portanto, por que eu quero usar o Graylog2 ...

Os arquivos de log na pasta logs são access.loge error.log.

Os logs Rails seria no sitename.com/public_html/log. Isso contém production.log.

Isso é antigo, mas pensei em escrever esse método que uso em sites de tráfego baixo / médio (não sei se funcionará bem em sites de tráfego pesado):

No Apache, defino um formato CustomLog chamado graylog2_accessque formata o log de acesso em um formato GELF e depois envio meu log pelo Graylog2 canalizando os dados do log por meio de nc para enviar mensagens GELF à entrada do Graylog2.

Aqui está o formato personalizado que ele cria (legível por humanos):

{ 
 "version": "1.1",
 "host": "%V",
 "short_message": "%r",
 "timestamp": %{%s}t,
 "level": 6,
 "_user_agent": "%{User-Agent}i",
 "_source_ip": "%a",
 "_duration_usec": %D,
 "_duration_sec": %T,
 "_request_size_byte": %O,
 "_http_status": %s,
 "_http_request_path": "%U",
 "_http_request": "%U%q",
 "_http_method": "%m",
 "_http_referer": "%{Referer}i"
}

Para a configuração do Apache, aqui está uma versão de copiar / colar:

LogFormat "{ \"version\": \"1.1\", \"host\": \"%V\", \"short_message\": \"%r\", \"timestamp\": %{%s}t, \"level\": 6, \"_user_agent\": \"%{User-Agent}i\", \"_source_ip\": \"%a\", \"_duration_usec\": %D, \"_duration_sec\": %T, \"_request_size_byte\": %O, \"_http_status\": %s, \"_http_request_path\": \"%U\", \"_http_request\": \"%U%q\", \"_http_method\": \"%m\", \"_http_referer\": \"%{Referer}i\" }" graylog2_access

Em seguida, na configuração do seu host:

CustomLog "|nc -u graylogserver 12201" graylog2_access

Você também pode enviar seus arquivos de log para o servidor graylog2 usando este comando simples:

tail -F -q $yourlogfile |   while read -r line ; do   echo "<7> $hostnamesendingthelog $line" | nc -w 1 -u $graylogserver 514;   done;

Uso isso principalmente para fins de teste para determinar se meu formato de log é adaptado para facilitar a consulta no graylog2. Para uso em produção, você não precisará configurar o rsyslog ou o syslog-ng.

Você provavelmente pode ajustar seu arquivo de log de trilhos e ver o que acontece.

O Graylog2 aceita apenas logs em dois formatos: syslog padrão e o formato de log estendido Graylog (também conhecido como GELF). Os logs arbitrários no disco precisarão de algum processo de terceiros para consumir os logs e convertê-los em um formulário que seja útil para você.

Dê uma olhada no Logstash . A maioria das pessoas pensa nisso como uma ferramenta para indexar arquivos de log usando o ElasticSearch, mas também contém um "roteador de log" de uso geral que permite ajustar vários arquivos no disco e enviá-los para um componente de log como o Graylog.

Você pode usar os apache2gelfscripts daqui .