Estou procurando um formato de compactação que suporte a tailedição. Significando que você não precisa ler o arquivo inteiro para obter os últimos X bytes descompactados. Isso é possível com qualquer um dos formatos como bzip2, xz, lzma, etc?
Uma vez eu codifiquei algo usando o gzip que poderia fazer isso. Basicamente, em um nível realmente alto, o que ele fez foi agrupar vários blocos gzip juntos, então eu tinha um utilitário que poderia procurar de trás para frente a partir do final do arquivo até quando o último bloco foi iniciado. Esses arquivos foram totalmente legíveis pelos utilitários padrão do gzip, mas espero que exista algo um pouco mais padronizado disponível.
O objetivo final disso é o de arquivos de log que eu posso gravar compactados e, em seguida, poder tailusá - los (mesmo quando não foram totalmente gravados; por exemplo, streaming) sem ter que esperar que tudo seja lido do disco ou da rede.