Como tornar o wget mais rápido ou multithreading?

Acabei de atualizar o hardware do meu computador (cpu + placa-mãe + placa gráfica + memória + disco rígido), para que seja necessário instalar um novo sistema operacional. Tentei fazer o download debian-6.0.6-amd64-netinst.isocom o wgetcomando, mas a velocidade é tão lenta que eu não aguentava. 4Kb/s ~ 17 Kb/s, lento como uma tartaruga correndo ou ainda mais lento se eu usar o Chrome.

Eu li as informações de ajuda do wget , parece que não há opções para torná-lo mais rápido.

Existe alguma maneira de tornar o wget mais rápido? Ou é possível fazer o download multi-threading ?

PS: minha largura de banda é de 4 milhões. Eu uso este comando:

wget -c url  http://hammurabi.acc.umu.se/debian-cd/6.0.6/amd64/iso-cd/debian-6.0.6-amd64-netinst.iso

Por que não tentar axel? É um completo Downloader baseado em linha de comando.

Instalar axele gerar o download por

axel -a -n [Num_of_Thread] link1 link2 link3 ...

onde '[Num_of_Thread]'é o número de conexões paralelas a serem criadas para cada link que você deseja baixar.

-a apenas mostre uma barra de progresso aprimorada.

Ao contrário de muitos outros gerenciadores de download, o Axel baixa todos os dados diretamente no arquivo de destino, usando um único encadeamento. Isso economiza algum tempo no final, porque o programa não precisa concatenar todas as partes baixadas.

Tentei axela recomendação de Gufran , mas isso me decepcionou enormemente. Meu objetivo era encontrar um substituto para a CLI DownThemAllporque ele monopoliza a CPU e o disco rígido e retarda todo o sistema, mesmo em um Mac Pro de 8 núcleos. Eu também queria uma substituição multithread para , wgete curlnão alguns cliques de um script que executa várias instâncias deles. Então, pesquisei mais e descobri o que acho atualmente o melhor e mais moderno downloader de CLI multithread que existe - aria2 . O grande problema que tive axelfoi que ele 'falsificou' o download de arquivos via SSL. Eu peguei fazendo isso com tcdump. Ele estava baixando httpslinks normalmentehttp. Isso realmente me irritou e se eu não tivesse verificado, eu teria uma falsa sensação de segurança. Duvido que muitas pessoas conheçam essa grave violação de segurança. Voltando ao aria2, é mais avançado do que qualquer outro downloader. Ele suporta os protocolos HTTP (S), FTP, BitTorrent e Metalink, é multiplataforma e é um guerrilheiro de download. Maximiza a largura de banda do meu ISP sem carga na CPU ou no disco rígido, ao contrário do DTA. A página de manual é gigantesca. Nunca usarei mais do que algumas de suas muitas opções. E, ah, BTW, eu verifiquei o desempenho do SSL tcdumpe ele é sólido, não falso. Eu escrevi um script que imita o comportamento do DTA, se não sua conveniência.

O comando básico que eu uso para obter largura de banda máxima é

aria2c --file-allocation=none -c -x 10 -s 10 -d "mydir" URL

-cpermite a continuação do download, se for interrompido, -x 10e -s 10permite até 10 conexões por servidor, e -d "mydir"envia o arquivo para o diretório mydir.

aria2files.sh:

#!/bin/bash

filename="$1" # get filename from command line argument

while read -r line
do
    if [ "$line" ] # skip blank lines
    then
        if [[ "$line" =~ (https?|ftp)\:\/\/ ]] # line contains a URL, download file
        then
            echo "URL: '$line'"
            aria2c --file-allocation=none -c -x 10 -s 10 -d "$currdir" "$line"
        else # line contains a directory name, create directory if not already present
            echo "Directory: '$line'"
            currdir="$line"
            if [ ! -d "$currdir" ]
            then
                mkdir -p "$currdir" # '-p' enables creation of nested directories in one command
            fi
        fi
    fi
done < "$filename"

Ele lê um arquivo de texto no formato:

files.txt:

dierctory 1
url1
url2
…
directory 2/subdirectory/sub-subdirectory/…
url3
url4
…
…
…

O script lê o nome do arquivo na linha de comando:

aria2files.sh files.txt

Ele cria os diretórios e baixa para eles. Ele pode criar diretórios aninhados, como mostrado no segundo exemplo.

Para obter mais detalhes, consulte meu script post Bash para baixar arquivos de URLs para diretórios especificados listados em um arquivo de texto .