Alternativas ao Splunk?

Estou bastante impressionado com o Splunk , especialmente a versão 4. Gráficos bonitos, alertando (somente Enterprise) e pesquisa rápida e precisa. É um ótimo produto.

No entanto, o custo é alto demais para ser considerado para o uso total da produção em nossa empresa. Tudo o que realmente precisamos é ser capaz de indexar diferentes logs em um local central e ter uma pesquisa razoável sobre isso. Ter alertas com base em uma pesquisa salva também é muito bom. Nós realmente não vamos além disso.

De fato, nosso maior uso tem sido na implantação de novos aplicativos. Tudo é registrado via log4net no log de eventos no Windows ou em um arquivo de texto no Linux. O Splunk facilita a pesquisa rápida entre eles, para garantir que todas as partes do aplicativo estejam funcionando bem - economizando muito tempo em comparação a fontes de registro individuais.

Que alternativas existem neste mercado? Sinto que os preços do Splunk são tão altos porque eles têm o melhor produto de longe e sabem disso. Queremos que o servidor seja executado no Windows.

Eu estaria aberto a um modelo dividido, usando um produto para logs gerais (coletar via syslog / Snare) e um produto dedicado para nossos aplicativos personalizados (como o Log4Net Dashboard ).

Usar um servidor syslog simples, como o Kiwi, enviado ao SQL Server (talvez com o texto completo ativado) funcionaria?

Espero que o custo esteja abaixo de 5 dígitos, em dólares. (E sim, eu sei, somos baratos. Somos uma startup com pouco dinheiro, e o BizSpark cuida de todo o nosso licenciamento de MS.)

Editar: devo acrescentar, temos cerca de 10 servidores físicos, 20 VMs e alguns firewalls e switches. 90% é Windows.

Nota: Isso é tudo sobre Linux e software livre , pois é o que eu mais uso, mas você deve ficar bem com um cliente syslog no Windows para enviar os logs para um servidor syslog Linux.

Registrando em um servidor SQL: Com apenas ~ 30 máquinas, você deve ficar bem com praticamente qualquer syslog centralizado e um back-end SQL. Eu uso o syslog-ng e o MySQL no Linux para isso.

Frontends bastante para gráficos são o principal problema - Parece que existem muitos front-ends invadidos que pegam itens dos logs e mostram quantos hits, alertas etc., mas não encontrei nada integrado e limpo. É certo que esta é a principal coisa que você está procurando ... (Se eu encontrar algo bom, atualizarei esta seção!)

Alerta : eu uso o SEC em um servidor Linux para encontrar coisas ruins acontecendo nos logs e me alertar através de vários métodos. É incrivelmente flexível e não é tão exigente quanto o Splunk. Há um bom tutorial aqui, que orienta muitos dos recursos possíveis.

Também uso o Nagios para gráficos de várias estatísticas e alguns alertas que não recebo dos logs (como quando os serviços estão inoperantes, etc.). Isso pode ser facilmente personalizado para adicionar gráficos de qualquer coisa que você quiser. Adicionei gráficos de itens como o número de ocorrências feitas em um servidor http, fazendo com que o agente use o plug-in check_logfiles para contar o número de ocorrências nos logs (ele salva a posição que ocupa para cada período de verificação).

No geral, depende de quanto tempo custará para configurá-lo , pois há muitas opções que você pode usar, mas elas não são tão integradas quanto o Splunk e provavelmente exigirão mais esforço para fazer o que você deseja. Os gráficos do Nagios são fáceis de configurar, mas não fornecem dados históricos antes de você adicionar o gráfico, enquanto que com o Splunk (e presumivelmente outros front-ends) você pode olhar para os logs anteriores e representar graficamente o que você acabou de fazer. pensou em olhar para eles.

Observe também que o formato e a indexação do banco de dados SQL terão um efeito enorme na velocidade das consultas, portanto, sua ideia de indexação de texto completo aumentará tremendamente a velocidade das pesquisas. Não tenho certeza se o MySQL ou PostgreSQL fará algo semelhante.

Edit : O MySQL fará indexação de texto completo, mas apenas nas tabelas MyISAM anteriores ao MySQL 5.6. Na versão 5.6, foi adicionado suporte ao InnoDB .

Edit : O Postgresql pode fazer uma pesquisa de texto completo, é claro: http://www.postgresql.org/docs/9.0/static/textsearch.html

Mais voltado para * nix do que janelas, mas o octopussy suporta janelas e parece ter o mesmo tipo de coisa que o splunk.

Estou no meio de experimentar várias soluções de monitoramento - mas quero monitorar principalmente as janelas. A maioria dos sistemas é voltada para o monitoramento SNMP, que consegue extrair uma quantidade notável de informações sem agentes.

Estes são alguns dos sistemas que eu tentei até agora:

Nagios - Código aberto. Um porco para configurar, mas altamente classificado e parece muito flexível. Parece ser essencialmente um contador de gravadores e não permite a execução remota de scripts e, portanto, não pode ser usado para detectar problemas de configuração, como o MS System Center ou o Kaseya. Sem agente, mas é essencialmente inútil sem a ferramenta NSclient instalada em cada cliente.

Cactos - ferramenta gráfica bonita e direta, baseada em estatísticas snmp. Sem agente.

OpsView - Baseado no Nagios, mas mais fácil de configurar e com um front end melhor.

HypericHQ - Fácil de instalar e executar no Windows. A versão base é gratuita e faz bastante. Existe uma empresa comercial HypericHQ. O agente deve ser instalado em cada cliente.

Zabbix - Outra boa ferramenta de monitoramento. É mais fácil de usar do que os nagios. Tem um agente que você pode instalar no Windows e nas máquinas clientes. Eu só explorei esse aqui um pouco até agora.

Zenoss - Código aberto. Fiquei muito impressionado com a profissionalidade do Zenoss. É um monitor baseado em SNMP e possui um monte de extensões para permitir o monitoramento de HP proliants, serviços windows, ms sql server, mysql. Todas as extensões funcionam via SNMP, portanto, nada precisa ser instalado nas máquinas clientes. Ainda não explorei tudo e parece haver muita funcionalidade que ainda tenho que explorar. É baseado no Zope, então, a menos que você esteja em dia com a instalação do Zope, eu recomendo baixar a VM pré-preparada - funciona como um sonho direto da caixa.

Na frente comercial, você pode dar uma olhada em algumas ferramentas:

Kaseya - custa cerca de 6k por ano para 250 nós, se bem me lembro, mas é uma ferramenta excelente e possui uma comunidade de usuários muito ativa. Destina-se ao mercado msp e permite o monitoramento de sistemas de várias empresas. Pode ser usado internamente sem problemas.

GFI Hounddog - mais simples que o Kaseya, mas muito barato no momento. Definitivamente vale a pena dar uma olhada.

Existem várias soluções vendidas como sistemas MSP, mas que são essencialmente monitores + administrador remoto combinados.

Ian

Para o syslogging centralizado com muitos recursos excelentes, não posso deixar de recomendar o rsyslog o suficiente. É um servidor syslog de código aberto que pode funcionar como um substituto para o syslogd comum que você conhece e adora. Agora é o daemon syslog de escolha para o Ubuntu e acho que o Red Hat & Fedora podem estar seguindo esse caminho também. Achei muito mais fácil instalar e executar o que você deseja que seja o syslog-ng.

Atualmente em nossa loja, temos dois servidores rsyslog centrais (um em cada site) que recebem logs para centenas de servidores. Recebo alertas automáticos por e-mail sempre que algo no syslog aciona um alerta ou superior (com alguns ajustes, é claro, alguns aplicativos são um pouco alarmistas). Provavelmente, eu poderia fazer mais algumas coisas inteligentes, como conseguir enviar coisas para nagios ou algo assim, mas isso nos cobre o suficiente para nossas necessidades por enquanto.

Tudo isso também entra em um banco de dados mysql (também há suporte para Oracle ou postgresql, se é assim que você rola).

Há também um front - end da web e um agente do Windows para o envio de logs do log de eventos para o servidor rsyslog também. O front-end da web obviamente não é tão liso quanto desleixado, mas faz o trabalho por US $ 0.

Dê uma olhada em http://www.codeplex.com/polymon

Seu código aberto, usa o SQL Server no back-end e possui uma interface de usuário sofisticada

Eu concordo que o Splunk é incrível. Porém, para ambientes pequenos, predominantemente Linux, você pode querer olhar algo como epylog .

Nós o usamos em um dos lugares onde eu trabalhava, e foi ótimo para o que queríamos.

Não tenho certeza de como lidaria com as mensagens syslog do Windows enviadas para um coletor de syslog do Linux, mas pode valer a pena tentar.

Basta ligar para a minha resposta em outro lugar:

Splunk é fantasticamente caro: quais são as alternativas?

Editar (novos projetos):

Os LogStash e Graylog2 projectos parecem muito interessante

Aqui estão alguns vídeos: um dois .

Algo como o GFI EventsManager pode funcionar por cerca de US $ 4 mil.

• Análise de logs de eventos, incluindo interceptações SNMP, logs de eventos do Windows, logs W3C e Syslog
• Alertas em tempo real, alerta de armadilhas SNMPv2 incluído
• Visualize relatórios sobre as principais informações de segurança que estão acontecendo agora
• Registro de eventos centralizado
• Remova “ruídos” ou eventos triviais que compõem uma grande proporção de todos os eventos de segurança
• Monitoramento e alertas em tempo real 24 x 7 x 365 dias
• Monitore graficamente o status do GFI EventsManager e sua rede através do monitor de status interno
• Suporte para ambientes virtuais

Se você estiver procurando uma substituição do SysLog, considere também uma substituição comercial do syslog / rsyslog como o LogLogic, http://loglogic.com . Nós (é onde eu trabalho) temos um conjunto completo de dispositivos de registro, armazenamento e relatório. Essencialmente, é a capacidade de coletar 100.000 mensagens por segundo, doloridas e indexá-las para que as pesquisas possam ser feitas.

Você pode tentar o logscape do liquidlabs - muito semelhante ao splunk, mas também possui alguns recursos diferentes ... http://www.liquidlabs-cloud.com/products/logscape.html

Eu fiz o back-end do SQL em um trabalho anterior (a propósito, era MySQL), completo com scripts, interface Drupal com scripts PHP personalizados, os trabalhos.

Honestamente, demorou horas de trabalho demais e ainda não era Splunk.

Atualmente, estou testando o Splunk. Sim, não é gratuito, mas olhando para o cenário geral, pode ser realmente mais barato.

Você já tentou o php-syslog-ng? http://code.google.com/p/php-syslog-ng/

Publiquei o tópico: O Splunk é fantasticamente caro: quais são as alternativas?

O xpolog e todas as soluções comerciais sérias são GRANDES $ (mesmo que sejam menos do que fracassadas, a maioria tem facilmente 5 dígitos!)

Sooooo, o que finalmente fizemos (porque o splunk foi demais):

1) Queríamos um syslog simples para o pipeline sql db

2) Tentamos o syslog do kiwi. Isso funcionou muito bem por uma semana, parou de funcionar e o suporte ao kiwi não pôde corrigi-lo. Então deixamos cair o kiwi

3) Tentamos o winsyslog. Um cachorro velho de um aplicativo, não queríamos aprender.

4) Usamos este aplicativo .net gratuito: http://www.aonaware.com/syslog.htm

Voila. Temos mensagens syslog em nosso banco de dados.

Nós estamos muito felizes. US $ 0 gasto, algumas horas, mas não muito.

Estamos usando o Splunk aqui e estou meio chocado com o preço que eles informaram. O detalhamento básico que recebemos chegou a cerca de US $ 1 mil por 1 GB de dados. É caro, mas super poderoso e muito rápido de desenvolver. Dependendo das fontes de dados e do que você deseja fazer com elas, alguns scripts python e perl podem fornecer muitos dados semelhantes. A grande diferença será tempo e aprender a realmente usar o idioma para o processamento de texto. Você também não seria capaz de obter informações de IP em tempo real (coisas como o syslog), embora possa corrigir isso obtendo um syslogger e enviando as informações para um arquivo de texto. Desculpe, não posso apontar você para nenhuma solução específica; para o que não podemos usar o splunk, usamos scripts python, perl e bash para.

ELSA - Pesquisa e arquivo de log corporativo

Principais características:

• Pesquisa de texto completo em qualquer palavra em uma mensagem ou campo analisado.
• Agrupe por qualquer campo e produza relatórios com base nos resultados.
• Agende pesquisas.
• Alerta sobre resultados de pesquisa em novos registros.
• Salvar pesquisas, enviar por e-mail os resultados da pesquisa.
• Crie tickets de incidentes com base nos resultados da pesquisa (com plug-in).
• Sistema completo de plugins para resultados.
• Exporte os resultados como link permanente ou no Excel, PDF, CSV e HTML.
• Integração LDAP completa para permissões.
• Estatísticas para consultas por usuário e tamanho e contagem de log.
• Arquitetura totalmente distribuída, pode lidar com nós com todas as consultas executadas em paralelo.
• Arquivo compactado com uma proporção melhor que 10: 1.

Detalhes de desempenho:

Para especificar um sistema, em ordem de importância: tamanho do disco, RAM, velocidade do disco, número de CPUs. O principal fator de desempenho é o indexador e o daemon de pesquisa do Sphinx; consulte sphinxsearch.com para obter documentos. Minhas estatísticas fornecidas são obtidas de sistemas grandes (16 CPU, 144 GB RAM, 12 TB HD), mas você obterá o mesmo desempenho em um sistema com 4 CPU, 8 GB RAM e qualquer HD de tamanho conforme as coisas forem dimensionadas linearmente. O sistema foi executado pela primeira vez em blades IBM com 4 GB de RAM e unidades SAN lentas e foi executado na mesma taxa, mas 4 GB está diminuindo um pouco.

Detalhes de desempenho e lista de principais recursos, além de uma descrição da arquitetura: http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

Código: https://code.google.com/p/enterprise-log-search-and-archive/

VM: http://ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available.html

Detalhes sobre o projeto: http://ossectools.blogspot.com/2011/03/comprehensive-log-collection.html

Se você está procurando uma alternativa muito mais acessível ao Splunk - tente o LogZilla ( http://www.logzilla.pro ). Ele é tão bom ou melhor que o Splunk (você pode pesquisar mais de 300 milhões de logs em cerca de 1-2 segundos) e é facilmente 1/10 do custo. Eles têm uma demo rodando em http://demo.logzilla.pro