Utilizando multi core para compactação / descompactação tar + gzip / bzip

Eu normalmente comprimo usando tar zcvfe descomprimo usando tar zxvf(usando gzip devido ao hábito).

Recentemente, adquiri uma CPU quad core com hyperthreading, por isso tenho 8 núcleos lógicos e noto que muitos deles não são utilizados durante a compactação / descompactação.

Existe alguma maneira de utilizar os núcleos não utilizados para torná-lo mais rápido?

Você pode usar pigz em vez de gzip, o que compacta o gzip em vários núcleos. Em vez de usar a opção -z, você o canalizaria através do pigz:

tar cf - paths-to-archive | pigz > archive.tar.gz

Por padrão, o pigz usa o número de núcleos disponíveis, ou oito, se não puder consultá-lo. Você pode pedir mais com -pn, por exemplo, -p 32. pigz tem as mesmas opções que o gzip, para que você possa solicitar uma melhor compactação com -9. Por exemplo

tar cf - paths-to-archive | pigz -9 -p 32 > archive.tar.gz

Você também pode usar o sinalizador tar "--use-compress-program =" para informar ao tar qual programa de compactação usar.

Por exemplo, use:

tar -c --use-compress-program=pigz -f tar.file dir_to_zip 

Abordagem comum

Há opção para o tarprograma:

-I, --use-compress-program PROG
      filter through PROG (must accept -d)

Você pode usar a versão multithread do arquivador ou utilitário do compressor.

Os arquivadores multithread mais populares são pigz (em vez de gzip) e pbzip2 (em vez de bzip2). Por exemplo:

$ tar -I pbzip2 -cf OUTPUT_FILE.tar.bz2 paths_to_archive
$ tar --use-compress-program=pigz -cf OUTPUT_FILE.tar.gz paths_to_archive

O arquivador deve aceitar -d. Se o seu utilitário de substituição não tiver esse parâmetro e / ou você precisar especificar parâmetros adicionais, use pipes (adicione parâmetros, se necessário):

$ tar cf - paths_to_archive | pbzip2 > OUTPUT_FILE.tar.gz
$ tar cf - paths_to_archive | pigz > OUTPUT_FILE.tar.gz

A entrada e a saída de singlethread e multithread são compatíveis. Você pode compactar usando a versão multithread e descompactar usando a versão singlelethread e vice-versa.

p7zip

Para o p7zip para compactação, você precisa de um pequeno script de shell como o seguinte:

#!/bin/sh
case $1 in
  -d) 7za -txz -si -so e;;
   *) 7za -txz -si -so a .;;
esac 2>/dev/null

Salve-o como 7zhelper.sh. Aqui está o exemplo de uso:

$ tar -I 7zhelper.sh -cf OUTPUT_FILE.tar.7z paths_to_archive
$ tar -I 7zhelper.sh -xf OUTPUT_FILE.tar.7z

xz

Em relação ao suporte XZ multithread. Se você estiver executando a versão 5.2.0 ou superior do XZ Utils, poderá utilizar vários núcleos para compactação, definindo -Tou --threadscom um valor apropriado por meio da variável de ambiente XZ_DEFAULTS (por exemplo XZ_DEFAULTS="-T 0").

Este é um fragmento do man para a versão 5.1.0alpha:

A compactação e descompactação multithread ainda não foram implementadas, portanto, esta opção não tem efeito no momento.

No entanto, isso não funcionará para descompactação de arquivos que também não foram compactados com o encadeamento ativado. Do man para a versão 5.2.2:

A descompressão por encadeamento ainda não foi implementada. Ele funcionará apenas em arquivos que contêm vários blocos com informações de tamanho nos cabeçalhos dos blocos. Todos os arquivos compactados no modo multithread atendem a essa condição, mas os arquivos compactados no modo single threaded nem se --block-size = size for usado.

Recompilar com substituição

Se você criar tar a partir de fontes, poderá recompilar com parâmetros

--with-gzip=pigz
--with-bzip2=lbzip2
--with-lzip=plzip

Após recompilar o tar com essas opções, você pode verificar a saída da ajuda do tar:

$ tar --help | grep "lbzip2\|plzip\|pigz"
  -j, --bzip2                filter the archive through lbzip2
      --lzip                 filter the archive through plzip
  -z, --gzip, --gunzip, --ungzip   filter the archive through pigz

Você pode usar o atalho -Ipara o --use-compress-programswitch tar e chamar pbzip2a compactação bzip2 em vários núcleos:

tar -I pbzip2 -cf OUTPUT_FILE.tar.bz2 DIRECTORY_TO_COMPRESS/

Se você deseja ter mais flexibilidade com nomes de arquivos e opções de compactação, pode usar:

find /my/path/ -type f -name "*.sql" -o -name "*.log" -exec \
tar -P --transform='s@/my/path/@@g' -cf - {} + | \
pigz -9 -p 4 > myarchive.tar.gz

Passo 1: find

find /my/path/ -type f -name "*.sql" -o -name "*.log" -exec

Este comando procurará os arquivos que você deseja arquivar, neste caso /my/path/*.sqle /my/path/*.log. Adicione quantas -o -name "pattern"quiser.

-execexecutará o próximo comando usando os resultados de find:tar

Passo 2: tar

tar -P --transform='s@/my/path/@@g' -cf - {} +

--transformé um parâmetro simples de substituição de cadeia. Ele removerá o caminho dos arquivos do arquivo, para que a raiz do tarball se torne o diretório atual durante a extração. Observe que você não pode usar a -Copção para alterar o diretório, pois perderá os benefícios de find: todos os arquivos do diretório seriam incluídos.

-Pdiz tarpara usar caminhos absolutos, para que ele não acione o aviso "Removendo` / 'principal dos nomes dos membros ". Os '/' iniciais são removidos de --transformqualquer maneira.

-cf -diz tarpara usar o nome tarball que especificaremos mais tarde

{} +usa todos os arquivos findencontrados anteriormente

Etapa 3: pigz

pigz -9 -p 4

Use quantos parâmetros você desejar. Nesse caso, -9é o nível de compactação e -p 4o número de núcleos dedicados à compactação. Se você executar isso em um servidor da Web carregado, provavelmente não desejará usar todos os núcleos disponíveis.

Etapa 4: nome do arquivo

> myarchive.tar.gz

Finalmente.

Uma ferramenta (des) de compactação relativamente mais nova que você pode querer considerar é o zstandard . Ele faz um excelente trabalho na utilização de núcleos sobressalentes e ofereceu ótimas vantagens quando se trata de taxa de compactação vs. tempo de (des) compactação. Também é altamente adaptável, dependendo das necessidades de sua taxa de compactação.