Precisa de alguns conselhos sobre a escolha de ferramentas de análise da web de código aberto, incluindo a marcação de páginas e o tipo de análise de arquivo de log. Conheço alguns deles: piwik, análise da web aberta, awstats e muito mais ... quais são os melhores entre eles (tipo de marcação de página e tipo de análise de arquivo de log)?
Respostas:
No domínio do analisador de arquivos de log, estes são os mais usados:
Analog e Webalizer são escritos em C e são os mais rápidos (10000-20000 linhas por segundo).
Como mencionado anteriormente pelo @MadHatter, o Analog foi desenvolvido por um ex-estatístico de Cambridge, o que faz do Analog uma ferramenta realmente precisa e técnica, mas desde o ano de 2005 não é mais desenvolvido.
O Webalizer não está mais desenvolvido, mas é mais fácil usar o Analog.
AWStat e W3Perl são escritos em Perl e são os projetos mais ativos, mas são muito mais lentos que o Analog e o Webalizer (3000/4500 linhas por segundo). Eles diferem entre si pelos dados produzidos e pela maneira como os dados são renderizados.
O AWStat exibe estatísticas de uma maneira realmente atraente, mas produz menos estatísticas que o W3Perl.
Aconselho estes links para obter mais informações:
http://www.aardal.com/stats/docs/uk/speed.html
http://www.w3perl.com/
http://awstats.sourceforge.net/
Meu conselho é:
Quanto à marcação de páginas O vencedor é, sem dúvida, o Google Analytics, os dados coletados e produzidos são melhores do que as outras soluções, mas, como um dia pode acontecer, o Google solicitará dinheiro por isso ...
O W3Counter e o Xiti são fornecedores que exigem que você, para a versão gratuita, instale uma imagem em cada página da web que deseja monitorar. Ambos são para sites pequenos.
O Open Web Analytics e o Pikwik são ótimas soluções de código aberto. Ambos são bastante maduros e estáveis, mas requerem banco de dados MySQL e suporte a PHP.
Se você não precisar de uma solução "caseira", eu definitivamente optaria pelo Google Analytics e, entre os projetos de código aberto, escolheria o Open Web Analytics, pois é mais maduro que o Piwik.
Estou muito satisfeito com piwik. Só sinto falta da possibilidade de ajustar os widgets dependentes do site. Eu o uso para verificar meus sites de drupal e também existe um módulo para drupal.
Para meu dinheiro, a melhor ferramenta de análise de log é analógica . É extremamente rápido (as pesquisas de módulo DNS, que são igualmente lentas para todos), são escritas por um ex-estatístico de Cambridge e têm uma página muito útil informando a você e a sua gerência o que pode e o que não pode ser conhecido adequadamente em seus logs da web, reivindicações comerciais bizarras, não obstante.
Não posso comentar sobre a marcação de páginas; desculpa.
Este é um software experimental, mas, no entanto, bastante impressionante:
O Hummingbird permite que você veja como os visitantes estão interagindo com seu site em tempo real. E por “tempo real” não queremos dizer que ele é atualizado a cada 5 minutos - os WebSockets permitem que o Hummingbird atualize 20 vezes por segundo. O Hummingbird foi desenvolvido sobre o Node.js, um novo kit de ferramentas da web em javascript que pode lidar com grandes quantidades de tráfego e muitos usuários simultâneos.
Eu diria (embora eu seja co-fundador ;-) que o SnowPlow é a mais poderosa ferramenta de análise da Web baseada em tags de código aberto existente no mercado.
O SnowPlow possui uma arquitetura distribuída e fracamente acoplada, que usa o Hadoop e o Hive, e é escalável para milhões ou até bilhões de eventos - isso é algo que nenhuma MySQL ou outra solução baseada em RDBMS pode fazer.
A outra grande inovação do SnowPlow é que seus dados de eventos são armazenados em uma estrutura atômica limpa, imutável, desnormalizada e atômica, ou seja, em um data warehouse de análise. Isso permite muitas análises muito sofisticadas usando o Hive, bem como associações diretas a dados de terceiros (por exemplo, dados de CRM ou de vendas). Novamente, isso é mais poderoso do que outras soluções, que tendem a recolher dados atômicos em agregados, truncar dados antigos ou usar estruturas normalizadas que são realmente difíceis de consultar diretamente ou associar-se a outras fontes.
Você pode ler mais sobre a arquitetura técnica do SnowPlow aqui .
O Boomerang é a melhor ferramenta disponível para análise de desempenho do cliente - mas é apenas o agente js - eu não conheço nenhuma ferramenta de relatório pronta para uso , o Pastmon é útil para itens de rede, Piwik e AwStats que você já mencionou. Analog é uma ferramenta muito semelhante ao AwStats - processamento menos configurável, mas muito mais rápido.
Se você deseja lançar sua própria solução, há dados gratuitos de IP para localização disponíveis
Após algumas pesquisas sobre pacotes de análise da web de código aberto, acho que os vencedores são: http://www.openwebanalytics.com e http://piwik.org/
O motivo é a facilidade de uso, os recursos de instalação em tempo real.
Uma característica impressionante que eu gostaria de mencionar é o Mapa de Calor gerado pela openwebanalytics.