É possível compactar um arquivo muito grande (~ 30 GB) usando o gzip? Em caso afirmativo, quais comandos, opções e opções devo usar?
Ou existe outro programa (de preferência um normalmente disponível nas distribuições do Ubuntu) que eu possa usar para compactar / compactar arquivos muito grandes? Você tem alguma experiência com isso?
Respostas:
AFAIK não há limite de tamanho para gzip- pelo menos, 30 GB. Obviamente, você precisa do espaço para o arquivo compactado no disco, as duas versões estarão disponíveis simultaneamente durante a compactação.
bzip2 comprime arquivos (não apenas os grandes :-) melhor, mas é (às vezes muito) mais lento.
pbzip- que usará mais de um núcleo de CPU. Mas ainda muito mais lento que gzip.
pbzip2
se você precisar de uma boa taxa de compressão, tente lzma. é mais rápido e mais eficiente que o bzip2 e pode ser mais rápido que o gzip (não sei ao certo)
http://www.thegeekstuff.com/2010/06/lzma-better-compression-than-bzip2-on-unix-linux/
lzmaestá obsoleto em favor do xzagora. O mesmo algoritmo, um formato de arquivo um pouco diferente (aprimorado?) Envolvido nele. O LZMA é mais lento que o gzip, mas na velocidade máxima ainda é uma compressão bastante boa em itens altamente redundantes, como dados JSON. ( xz -0)
O formato gzip representa o tamanho do módulo de entrada 2 ^ 32, portanto, a
--listopção relata tamanhos incorretos e taxas de compactação incorretos para arquivos não compactados com 4 GB ou mais.
Então, pegue bzip2(v1.0.2 e superior) ou xz.
O XZ definido para a compactação mais baixa pode superar o gzip em termos de velocidade e compactação.
pxz -9ve - <in >out.xze você assará uma galinha no seu PC, mas o resultado será de cerca de 60% do resultado do gzip. Você precisa de cerca de 7 GB para isso.