Eu assisti os vídeos no splunk.com e é realmente difícil acreditar que se pode obter todos esses recursos de graça, ainda há "onde está o problema?" na parte de trás da minha cabeça.
Seria ótimo se alguém que estivesse usando o Splunk na produção gostaria de compartilhar suas experiências, talvez destacando seus benefícios sobre, digamos, Nagios?
Muito obrigado antecipadamente.
Respostas:
Estamos usando-o para mais de 7 GB de dados por dia, mas pagamos por isso. Muito. Acho que recebemos um desconto acadêmico, mas, na maioria das vezes, conseguimos justificar gastar o dinheiro, porque isso satisfez os auditores por ter alguém / alguma coisa examinando nossos registros.
Nós também usar o Nagios. Configuramos nagios com algumas pesquisas salvas que chamam scripts que geram alertas de nagios ou criam tickets RT . Assim, por exemplo, falhas no login do X em uma janela de 5 minutos (em todos os servidores) gerarão um alerta. Esse é o tipo de coisa que os nagios não conseguem fazer por si mesmos.
Anteriormente, estávamos usando o SEC para gerar esses tipos de alertas, mas não funcionava tão bem e alguém ainda tinha que tentar usar grep em um arquivo de 20 GB de vez em quando.
Não tenho certeza se temos mais alertas nagios gerados; mudamos a maioria, se não todos, para gerar tickets RT. O modelo de alerta da nagios realmente não funciona bem para itens baseados na análise de logs, é melhor em coisas com um estado que pode ser bom ou ruim, e não um evento discreto que talvez precise ser investigado.
EDITAR:
Sim, isso realmente torna a vida muito mais fácil para nós. É substancialmente melhor do que tentar fazer grep nos logs. Temos caixas do Windows, Linux e Solaris enviando logs.
Magicamente encontra exatamente o que você deseja, como alguns dos vídeos sugerem? Não, ele tem algumas limitações e pode ser necessário fazer algumas configurações para lidar bem com tipos específicos de logs. E pesquisas excessivamente "interessantes" podem exigir a leitura dos documentos e, em seguida, aguardar alguns minutos enquanto o servidor fragmentado se agita. Mas, sério, isso é demais. Pelo que vi, não há realmente mais nada na sua liga.
Eu trabalhei com Splunk e Nagios e eles servem duas diferenças distintas.
O Splunk torna a pesquisa nos logs muito mais simples e fácil de fazer. Salvar pesquisas para problemas comuns pode ser inestimável na identificação de problemas. Eu tenho 2 servidores Splunk em locais diferentes, ambos estão usando a edição gratuita, pois o preço estava fora da faixa e o valor indexado diário não é suficiente para exigir a compra de mais.
O Nagios, por outro lado, cria uma excelente plataforma de monitoramento ativo. Eu tenho uma plataforma Nagios distribuída por 5 servidores, monitorando vários locais geográficos. É muito diferente do Splunk, que monitora os arquivos de log; o Nagios pode ter plug-ins de verificação de serviço escritos para monitorar praticamente qualquer coisa ativamente e permitir que você seja notificado sobre problemas para resolvê-los.
Acho que os dois juntos dão uma imagem muito melhor e ajudam na manutenção de uma rede. Especialmente se for uma equipe versus um esforço individual. Todos os envolvidos podem ver a mesma imagem.
É gratuito até 500 MB / dia de processamento de log. Eu testei e, mesmo que você fique abaixo de 500 MB / dia, descobri que muitos dos recursos mais "avançados" exigem uma licença real. Também requer muitos recursos de hardware para funcionar adequadamente.
Conheço uma empresa que o utiliza em uma escala muito grande, mas também custa uma quantia muito grande (as licenças de baixo custo são muitos milhares de dólares).
Também faz coisas diferentes de Nagios. O Splunk parece melhor para rastrear tendências ou procurar peculiaridades em dados de longo prazo e o Nagios é melhor para poder reagir imediatamente.
A edição Enterprise é muito, muito cara, que é a versão que você usaria em um ambiente de grande escala. Esta é a razão pela qual não a usamos.
Testei o Splunk e achei muito útil para pesquisas no ADHOC. No entanto, eu uso o LogLogic agora há vários anos como MSSP, porque é uma solução de dispositivo ajustada para lidar com até 75.000 MPS, suporta uma arquitetura distribuída, fornece MD5 Checksum File Integrity (para forense) e possui muitos relatórios de índice, regex e filtros de pesquisa booleanos pré-criados para a maioria das fontes de log.