Quanto tempo você mantém os arquivos de log?

Eu tenho um aplicativo que grava seus arquivos de log em uma pasta especial. Agora eu gostaria de adicionar uma funcionalidade para excluir esses logs após um período definido automaticamente. Mas por quanto tempo devo manter os arquivos de log? O que são valores padrão "bons" (7 ou 180 dias)? Ou você prefere outros critérios (por exemplo, espaço máximo em disco usado)?

Não há uma resposta única. Fatores a serem considerados:

• requisitos legais para retenção ou destruição
• políticas da empresa para retenção e destruição
• por quanto tempo os logs são úteis
• quais perguntas você espera responder nos logs
• quanto espaço eles ocupam

Eu tenho alguns logs que rolam em dias e outros que são mantidos por anos.

Costumo manter os logs de acesso por mais tempo (em alguns casos, para sempre, depois de retirar deles a identificação das informações) do que os logs de erros, como na teoria, não preciso deles depois de corrigir os problemas.

Eu mantenho alguns outros logs de depuração (mostrando a atividade do usuário, como eles estão interagindo com o sistema etc.) por perto, para que possamos ver como as coisas mudam com cada versão.

...

E isso me lembra uma anedota quando eu trabalhava em uma universidade - a gerência trouxe um consultor externo para fazer uma revisão de terceiros do servidor da web que estávamos construindo. Disseram-me para entregar três meses de logs para que eles revisassem se o sistema foi dimensionado adequadamente. Eu sabia que isso era um sinal de que eles não sabiam o que estavam fazendo, pois as universidades são cíclicas - a carga do servidor da web aumentou com o tempo, mas com picos no início de cada ano, hora das finais etc.

Depende dos requisitos ... pode haver requisitos legais para a manutenção de registros, e você também deve considerar quanto tempo eles serão úteis para a solução de problemas.

Além dos requisitos legais e das considerações de utilidade, depende bastante de quanto espaço em disco seus logs estão consumindo. Eu já vi programas muito detalhados rodarem seus logs todos os dias, enquanto programas muito silenciosos rodam quase nunca.

Dependendo do seu sistema, pode valer a pena considerar o pacote "logrotate" em vez de manipular a rotação do log internamente. Basta colocar um arquivo com padrões razoáveis ​​em /etc/logrotate.d/ e permitir que seus usuários o modifiquem se acharem necessário.

Depende do setor que usará seu software. Existem muitos aplicativos de produção que se enquadram nos requisitos regulamentares do governo que podem exigir que quaisquer saídas, incluindo arquivos de log, sejam mantidas por um período específico.

Se o seu aplicativo cair em uma dessas áreas ou se você não tiver certeza, consulte o departamento jurídico da sua empresa.

Você deve, com certeza, arquivar seus logs antes de ficar sem espaço. :)

Em nossa organização, os logs são arquivados diariamente. Portanto, a pasta "log" especial terá apenas logs para o dia atual. O arquivo é retido por 3 semanas no disco em um local de arquivo especial com muito armazenamento. Isso ajudará prod. devs de suporte para procurar se algo for relatado. O backup é feito em fita (sim, fitas!) Após 3 semanas. Como política, as fitas são retidas por mais 35 dias.

Atualmente, estou enfrentando a mesma decisão. Eu tenho um aplicativo que grava exceções não críticas em um arquivo de log e decidi definir um limite de tamanho configurável para o próprio arquivo de log. Quando o arquivo de log atingir um determinado tamanho, ele será arquivado. O arquivo será limpo uma vez por semana. Também estou pensando em definir um limite de "Taxa de crescimento", para que, se o log for preenchido muito rapidamente, o suporte ao cliente seja notificado. Ainda não tenho certeza se isso é um exagero.

Esses logs são apenas para suporte, portanto, no meu caso, não há requisitos legais ou comerciais para mantê-los por uma semana.

A retenção dos arquivos de log depende da criticidade dos dados que estão sendo registrados e do tamanho real da mídia de armazenamento na qual os logs são armazenados, bem como dos vários procedimentos de conformidade na localização geográfica em que o servidor está hospedado.

Não existe uma regra rígida e rápida para o número de dias em que os arquivos de log devem ser retidos, embora os logs por pelo menos um mês (com espaço) não sejam uma má idéia.

Armazenar logs antigos como arquivos tar.gz também é uma boa idéia se o espaço for uma restrição.