Perguntas com a marcação «gnu-parallel»

Eu tenho tentado paralelizar o script a seguir, especificamente cada uma das três instâncias de loop FOR, usando o GNU Parallel, mas não consegui. Os 4 comandos contidos no loop FOR são executados em série, cada loop levando cerca de 10 minutos. #!/bin/bash kar='KAR5' runList='run2 run3 run4' mkdir normFunc for …

109 shell-script  gnu-parallel 

Estou confuso sobre a diferença ou vantagem (se houver) de executar um conjunto de tarefas em um .shscript usandoGNU parallel Por exemplo , a resposta de Ole Tange : parallel ./pngout -s0 {} R{} ::: *.png em vez de dizer repetindo-os, colocando-os em segundo plano &. Por exemplo , a …

40 shell-script  background-process  xargs  gnu-parallel 

Eu tenho usado um rsyncscript para sincronizar dados em um host com os dados em outro host. Os dados possuem vários arquivos de tamanho pequeno que contribuem para quase 1,2 TB. Para sincronizar esses arquivos, eu tenho usado o rsynccomando da seguinte maneira: rsync -avzm --stats --human-readable --include-from proj.lst /data/projects …

18 linux  rhel  rsync  gnu-parallel 

Eu tenho um problema de script de shell no qual recebo um diretório cheio de arquivos de entrada (cada arquivo contém muitas linhas de entrada) e preciso processá-los individualmente, redirecionando cada uma de suas saídas para um arquivo exclusivo (também conhecido como file_1.input para ser capturado em file_1.output e assim …

18 scripting  parallelism  gnu-parallel 

Em um script maior para pós-processar alguns dados de simulação, eu tinha a seguinte linha: parallel bnzip2 -- *.bz2 O qual, se eu entendi parallelcorretamente (e talvez não), deve executar os threads n-core do programa em todos os arquivos com a extensão listada. Você pode perceber que eu escrevi errado …

15 gnu-parallel  moreutils-parallel 

Então, eu tenho um loop while: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Mas isso pode levar muito tempo. Como eu usaria o GNU Parallel para esse loop while?

12 shell-script  files  gnu-parallel 

% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % Eu esperaria que a segunda linha aja da mesma maneira.

9 bash  shell  quoting  gnu-parallel 

Estou carregando um arquivo gigantesco em um banco de dados postgresql. Para fazer isso, primeiro uso splitno arquivo para obter arquivos menores (30 GB cada) e, em seguida, carrego cada arquivo menor no banco de dados usando GNU Parallele psql copy. O problema é que leva cerca de 7 horas …

9 files  split  gnu-parallel 

Suponha que eu queira encontrar todas as correspondências no arquivo de texto compactado: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --rateusado aqui para medir a produtividade do tubo. Na minha máquina, são cerca de 420 Mb / s (após a descompressão). Agora estou tentando fazer …

8 shell  gnu-parallel 

Eu gostaria de usar o recurso GNU paralelo, onde ele pode executar o comando e a lista que é alimentada em paralelo e cuspir depois que tudo estiver pronto, no entanto, não quero instalar o GNU paralelo em todos os nossos servidores. Ou talvez uma versão paralela de xargs? Existe …

8 ksh  gnu  parallelism  gnu-parallel