Executando milhares de processos de background curl em paralelo no script bash

Estou executando milhares de processos de segundo plano curl em paralelo no seguinte script bash

START=$(date +%s)
for i in {1..100000}
do       
    curl -s "http://some_url_here/"$i  > $i.txt&
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
done

Eu tenho 49Gb Corei7-920 servidor dedicado (não virtual).

Eu rastreio o consumo de memória e a CPU por meio de topcomando e eles estão longe dos limites.

Estou usando ps aux | grep curl | wc -lpara contar o número de processos de curvatura atuais . Esse número aumenta rapidamente de 2 a 4 mil e depois começa a diminuir continuamente.

Se eu adicionar uma análise simples por meio de encanamento de tubulação a awk ( curl | awk > output), o número de processos de enrolamento aumentará para apenas 1-2 mil e depois diminuirá para 20-30 ...

Por que o número de processos diminui tão drasticamente? Onde estão os limites dessa arquitetura?

Após a pergunta estrita:

mycurl() {
    START=$(date +%s)
    curl -s "http://some_url_here/"$1  > $1.txt
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
}
export -f mycurl

seq 100000 | parallel -j0 mycurl

Menor se você não precisar do texto padrão nos horários:

seq 100000 | parallel -j0 --joblog log curl -s http://some_url_here/{} ">" {}.txt
cut -f 4 log

Se você deseja executar 1000s em paralelo, atingirá alguns limites (como identificadores de arquivo). Criar ulimit -n ou /etc/security/limits.conf pode ajudar.

for i in {1..100000}

Existem apenas 65536 portas. Acelere isso.

for n in {1..100000..1000}; do   # start 100 fetch loops
        for i in `eval echo {$n..$((n+999))}`; do
                echo "club $i..."
                curl -s "http://some_url_here/"$i  > $i.txt
        done &
        wait
done

(edit: (edit: tira afirmação severamente datada sobre os limites do SO e adiciona o que falta )echocurl
wait