Executando o script com o Cygwin no Windows XP com Dual Core e Ram de 4 GB
cat url_list.txt | xargs -P50 wget -i
Estou tentando percorrer 4 GB de URL para baixar (aproximadamente 43 milhões)
Funciona bem durante a primeira hora, depois o shell Bash e os downloads param mesmo que sejam apenas 2% através da lista de URLs.
Alguma idéia do que poderia estar errado?
Qual é a melhor maneira de depurar porque isso está parando depois de uma hora?