Quatro tarefas em paralelo ... como faço isso?

Eu tenho um monte de imagens PNG em um diretório. Eu tenho um aplicativo chamado pngout que eu corro para compactar essas imagens. Este aplicativo é chamado por um script que eu fiz. O problema é que esse script executa um de cada vez, algo como isto:

FILES=(./*.png)
for f in  "${FILES[@]}"
do
        echo "Processing $f file..."
        # take action on each file. $f store current file name
        ./pngout -s0 $f R${f/\.\//}
done

Processar apenas um arquivo por vez, leva muito tempo. Depois de executar este aplicativo, vejo que a CPU é de apenas 10%. Então, descobri que posso dividir esses arquivos em 4 lotes, colocar cada lote em um diretório e disparar 4, de quatro janelas de terminal, quatro processos, para que eu tenha quatro instâncias do meu script, ao mesmo tempo, processando essas imagens e as o trabalho leva 1/4 do tempo.

O segundo problema é que perdi tempo dividindo as imagens e lotes e copiando o script para quatro diretórios, abrindo 4 janelas de terminal, bla bla ...

Como fazer isso com um script, sem ter que dividir nada?

Quero dizer duas coisas: primeiro, como faço a partir de um script bash, aciono um processo em segundo plano? (basta adicionar & ao final?) Segundo: como eu paro de enviar tarefas para segundo plano depois de enviar a quarta tarefa e coloco o script em espera até que as tarefas terminem? Quero dizer, apenas enviando uma nova tarefa para o plano de fundo quando uma tarefa termina, mantendo sempre quatro tarefas em paralelo? se eu não fizer isso, o loop disparará zilhões de tarefas em segundo plano e a CPU ficará obstruída.

Se você possui uma cópia xargscompatível com a execução paralela -P, basta fazer

printf '%s\0' *.png | xargs -0 -I {} -P 4 ./pngout -s0 {} R{}

Para outras idéias, o wiki do Wooledge Bash possui uma seção no artigo Gerenciamento de processos que descreve exatamente o que você deseja.

Além das soluções já propostas, você pode criar um makefile que descreva como criar um arquivo compactado a partir de descompactado e usá-lo make -j 4para executar 4 trabalhos em paralelo. O problema é que você precisará nomear os arquivos compactados e descompactados de maneira diferente ou armazená-los em diretórios diferentes; caso contrário, será impossível escrever uma regra de fabricação razoável.

Se você possui o GNU Parallel http://www.gnu.org/software/parallel/ instalado, você pode fazer isso:

parallel ./pngout -s0 {} R{} ::: *.png

Você pode instalar o GNU Parallel simplesmente:

wget http://git.savannah.gnu.org/cgit/parallel.git/plain/src/parallel
chmod 755 parallel
cp parallel sem

Assista aos vídeos de introdução do GNU Parallel para saber mais: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Para responder suas duas perguntas:

• Sim, adicionar & no final da linha instruirá o shell a iniciar um processo em segundo plano.
• usando o waitcomando, você pode pedir ao shell para aguardar a conclusão de todos os processos em segundo plano antes de prosseguir.

Aqui está o script modificado para que jseja usado para acompanhar o número de processos em segundo plano. Quando NB_CONCURRENT_PROCESSESatingido, o script será redefinido jpara 0 e aguardará a conclusão de todos os processos em segundo plano antes de retomar sua execução.

files=(./*.png)
nb_concurrent_processes=4
j=0
for f in "${files[@]}"
do
        echo "Processing $f file..."
        # take action on each file. $f store current file name
        ./pngout -s0 "$f" R"${f/\.\//}" &
        ((++j == nb_concurrent_processes)) && { j=0; wait; }
done