Perguntas com a marcação «gnu-parallel»

10
Paralelizar um loop Bash FOR
Eu tenho tentado paralelizar o script a seguir, especificamente cada uma das três instâncias de loop FOR, usando o GNU Parallel, mas não consegui. Os 4 comandos contidos no loop FOR são executados em série, cada loop levando cerca de 10 minutos. #!/bin/bash kar='KAR5' runList='run2 run3 run4' mkdir normFunc for …


6
Paralelize o rsync usando o GNU Parallel
Eu tenho usado um rsyncscript para sincronizar dados em um host com os dados em outro host. Os dados possuem vários arquivos de tamanho pequeno que contribuem para quase 1,2 TB. Para sincronizar esses arquivos, eu tenho usado o rsynccomando da seguinte maneira: rsync -avzm --stats --human-readable --include-from proj.lst /data/projects …





4
Usando o GNU Parallel With Split
Estou carregando um arquivo gigantesco em um banco de dados postgresql. Para fazer isso, primeiro uso splitno arquivo para obter arquivos menores (30 GB cada) e, em seguida, carrego cada arquivo menor no banco de dados usando GNU Parallele psql copy. O problema é que leva cerca de 7 horas …

3
Como usar o GNU paralelamente de forma eficaz
Suponha que eu queira encontrar todas as correspondências no arquivo de texto compactado: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --rateusado aqui para medir a produtividade do tubo. Na minha máquina, são cerca de 420 Mb / s (após a descompressão). Agora estou tentando fazer …

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.