Processamento de script bash número limitado de comandos em paralelo

Eu tenho um script bash que se parece com isso:

#!/bin/bash
wget LINK1 >/dev/null 2>&1
wget LINK2 >/dev/null 2>&1
wget LINK3 >/dev/null 2>&1
wget LINK4 >/dev/null 2>&1
# ..
# ..
wget LINK4000 >/dev/null 2>&1

Mas processar cada linha até que o comando seja concluído e passar para a próxima consome muito tempo. Quero processar, por exemplo, 20 linhas de uma só vez e, quando terminar, outras 20 linhas serão processadas.

Pensei wget LINK1 >/dev/null 2>&1 &em enviar o comando para segundo plano e continuar, mas existem 4000 linhas aqui, isso significa que terei problemas de desempenho, sem mencionar que estou limitado em quantos processos devo iniciar ao mesmo tempo, para que isso não seja uma boa ideia. idéia.

Uma solução em que estou pensando agora é verificar se um dos comandos ainda está em execução ou não, por exemplo, após 20 linhas, posso adicionar este loop:

while [  $(ps -ef | grep KEYWORD | grep -v grep | wc -l) -gt 0 ]; do
sleep 1
done

É claro que, neste caso, precisarei anexar e ao final da linha! Mas sinto que esse não é o caminho certo para fazê-lo.

Então, como eu realmente agrupo cada 20 linhas e espero que elas terminem antes de passar para as próximas 20 linhas, esse script é gerado dinamicamente para que eu possa fazer qualquer matemática que eu quiser enquanto estiver sendo gerado, mas NÃO PRECISA use wget, era apenas um exemplo, então qualquer solução específica do wget não me ajudaria.

Use o waitbuilt-in:

process1 &
process2 &
process3 &
process4 &
wait
process5 &
process6 &
process7 &
process8 &
wait

Para o exemplo acima, 4 processos process1... process4seriam iniciados em segundo plano e o shell aguardaria até que eles fossem concluídos antes de iniciar o próximo conjunto.

No manual GNU :

wait [jobspec or pid ...]

Aguarde até que o processo filho especificado por cada ID de processo pid ou especificação de tarefa jobspec saia e retorne o status de saída do último comando esperado. Se uma especificação de trabalho for fornecida, todos os processos no trabalho serão aguardados. Se nenhum argumento for fornecido, todos os processos filhos ativos no momento serão aguardados e o status de retorno será zero. Se nem jobspec nem pid especificarem um processo filho ativo do shell, o status de retorno será 127.

Veja paralelo . Sua sintaxe é semelhante a xargs, mas executa os comandos em paralelo.

De fato, xargs pode executar comandos em paralelo para você. Existe uma -P max_procsopção de linha de comando especial para isso. Veja man xargs.

Você pode executar 20 processos e usar o comando:

wait

Seu script aguardará e continuará quando todos os seus trabalhos em segundo plano forem concluídos.