Quais são as melhores opções para compactar arquivos usando o 7 Zip?

Geralmente, tenho que reunir arquivos de log e enviá-los para um servidor central (de propriedade de outra empresa). O servidor central tem um limite de tamanho do arquivo, por isso estou tentando criar o menor arquivo possível que ainda esteja no formato zip.

Qual é a melhor configuração para compactar um arquivo de texto em um formato zip quando minha única necessidade é de um tamanho pequeno?

Fiz a ultracompressão óbvia e escolhida e notei que o LZMA faz um trabalho melhor do que o esvaziamento, mas existem muitas outras permutações de opções para eu testar todas elas.

Para criar o menor arquivo ZIP padrão que o 7-Zip pode criar, tente:

7z a -mm=Deflate -mfb=258 -mpass=15 -r foo.zip C:\Path\To\Files\*

^{Fonte: Como posso obter a melhor compactação ZIP padrão?}

Caso contrário, se você não se importa com o padrão ZIP, use as seguintes configurações ultra:

7z a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on archive.7z dir1

Que são:

-t7z   7z archive

-m0=lzma
       lzma method

-mx=9  level of compression = 9 (Ultra)

-mfb=64
       number of fast bytes for LZMA = 64
-md=32m
       dictionary size = 32 megabytes

-ms=on solid archive = on

Se você pode usar o formato .7z em vez de apenas .zip, eu simplesmente usaria o PPMD com as seguintes opções e deixaria todo o resto conforme definido pelo Nível de compactação:

• Formato de arquivo: 7z
• Método de compressão: PPMD
• Nível de Compressão: Ultra

Compacto regularmente logs de servidor / texto (60 MB ou mais) usando essas opções e elas geralmente saem com 1-2% do tamanho original.

Eu comparo o db.fdb 1,2 GB (1236598784 B) no servidor Ubuntu 14.04.03 com o p7zip [64] 9.20 na VM:

1. 7z a -mx=9 1.7z db.fdb
2. 7z a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on 2.7z db.fdb
3. 7z a -t7z -m0=lzma -mx=9 -mfb=258 -md=32m -ms=on 3.7z db.fdb
4. 7z a -t7z -m0=lzma -mx=9 -mfb=258 -md=32m -ms=on -pass=15 4.7z db.fdb
5. 7z a -mx=9 -mmt=on 5.7z db.fdb
6. 7z a -t7z -m0=lzma -mx=9 -mfb=258 -md=32m -ms=on -mmt=on 6.7z db.fdb

e tenha esses resultados:

1.7z 96 MB (100108731 B) with 6' 25"
2.7z 95 MB ( 99520375 B) with 5' 18"
3.7z 93 MB ( 97512311 B) with 9' 19"
4.7z 93 MB ( 97512345 B) with 9' 40"
5.7z 96 MB (100108731 B) with 5' 26"
6.7z 93 MB ( 97512311 B) with 9' 09"

Eu acho que o segundo método funciona bem = (quase) melhor comprimir com melhor tempo. Mas, para melhor "visualização" e fácil de lembrar, é o primeiro método - com arquivos pequenos e nenhum ponto de compactação máxima. Entre o método 2 e 3, não temos 7z extra menores, mas pagamos quase dois a mais tempo para a compactação. Qualquer um decide por conta própria.

Após muita experimentação, pesquisando a documentação detalhada do 7zip e lendo parte do código-fonte 7z referente aos parâmetros avançados do LZMA2, aqui está um método melhor abaixo. Reduziu alguns arquivos de teste do mundo real de 1 GB mais de 2 a 4 vezes melhor do que as soluções anteriormente aceitas postadas aqui ou mesmo na página de manual 7z.

7z a -t7z -mx=9 -mfb=273 -ms -md=31 -myx=9 -mtm=- -mmt -mmtf -md=1536m -mmf=bt3 -mmc=10000 -mpb=0 -mlc=0 archive.7z inputfileordir

A compressão LZMA2 é assumida aqui, mas você pode obter um desempenho ainda melhor no 7zip com a aprovação de opções avançadas do LZMA2 como -m0=LZMA2:27, ou -m0=LZMA2:d25, ou uma matriz de parâmetros como

-m0=BCJ2 -m1=LZMA:d25 -m2=LZMA:d19 -m3=LZMA:d19 -mb0:1

Esses parâmetros não pareciam ser respeitados pelas versões 7z que testei, mas convém explorar mais ou corrigir o código 7z para analisá-los adequadamente. Ou talvez deva funcionar e está apenas quebrado nas compilações que foram testadas.

Defina o campo "dividir em volume, bytes" para o tamanho máximo permitido do arquivo do servidor (em bytes, eu acho, embora pareça aceitar as abreviações comuns como "KB" e "MB"). Se o arquivo zip exceder esse tamanho, o 7-zip o dividirá em vários arquivos automaticamente, como integration_serviceLog.zip.001 , integration_serviceLog.zip.002 , etc. disquetes.) Você precisará de todos os arquivos para descompactá-los. Use isso em vez de se preocupar com as melhores configurações absolutas de compactação a serem usadas para qualquer conjunto específico de arquivos, porque o que é melhor para um arquivo pode ser diferente para outro arquivo e você não precisa passar por isso toda vez que precisar copiar logs.