Como sites grandes como o StackOverflow lidam com seus logs de acesso?

8

Gostaria de saber como sites grandes como o StackOverflow lidam com seus logs de acesso. Uma gravação no disco em todas as solicitações parece um pouco antieconômica, mas o Google Analytics é confiável para usá-lo como seu único recurso de informação?

— Stephen Ostermiller
fonte

Você pode configurar o Apache para fazer logon em um banco de dados. Eu imagino que o IIS é o mesmo.

— Lèse majesté

2

Em um sistema * nix, você pode usar o syslog-ng para armazenar mensagens de log em um servidor de log dedicado para o (s) cluster (s) com balanceamento de carga e, em seguida, usar uma solução de análise de log como o Splunk para acompanhar as coisas - como os sites do StackExchange realmente executado, pode ser uma boa pergunta para o StackOverflow Meta .

— danlefree
fonte

Alguém já perguntou qual troca de pilha usa?

— theonlygusti 5/09

2

Existem muitas informações que os logs do servidor da Web contêm que nunca estarão disponíveis para o Google Analytics, duas coisas que posso pensar:

Erros como 404, etc.
Acesso a arquivos de mídia, como fotos, etc. (incluindo sites externos com links para suas imagens)
Endereços IP, embora uma resposta a outra pergunta tenha apontado que ele pode ser definido como uma variável de usuário
URLs de referência completos, por exemplo, o Google envia links de pesquisa de produtos, pesquisa na web etc. cada pesquisa possui palavras-chave, mas o Google Analytics não exibe outras variáveis &source=products, como etc.

Deve haver mais coisas em que não consigo pensar agora.

E há também os logs de erro; deve ser importante para um site funcionar sem problemas, na minha opinião. Não é algo que você ignoraria.

— Evgeny
fonte

Isso mesmo, mas como eles armazenam seus logs? O arquivo ou banco de dados sugerido por Lèse majesté parece pesado para mim.

Na verdade, quando você compactar esse tipo de dados repetitivos ... ele comprime muito bem. Então eu imagino que você pode armazená-lo como arquivos de texto compactados e removê-los depois de um tempo ... apenas sua rotação básica.

— Evgeny

0

Realmente não olho para esses logs e acabo excluindo-os mensalmente. Eu só olho para eles em busca de problemas. Quanto ao aplicativo de monitoramento, use o Google Analytics, CrazyEgg e outros fazem um ótimo trabalho.

Antes da existência desses serviços, esses logs eram muito valiosos. Agora, elas são boas ferramentas de desenvolvedor, mas não conheço nenhum colega ou amigo que arquive esses logs ativamente ou os analise em busca de dados.

— Frank
fonte