Faça com que o wget não baixe arquivos maiores que o tamanho X


11

Ok, eu desisto. Como limite o tamanho dos arquivos baixados, como, por exemplo, não quero arquivos com mais de 2 MB?

Respostas:


6

A única opção de limitação que conheço que wgetsuporta é a -Qtroca de cota. Não é isso que você deseja, pois ele irá parar após um limite combinado de todos os arquivos baixados, e não individualmente. Canalizar cada link para ele separadamente com o -Qcomutador também não funcionará, conforme explicado na página de manual .

Não sei qual ambiente você está usando, mas o rastreador suporta limitações de tamanho de arquivo com comprimento máximo de bytes e é executado na plataforma Java.

do manual do usuário :

  • bytes de comprimento máximo

Número máximo de bytes para download por documento. Truncará o arquivo assim que este limite for atingido.

Por padrão, esse valor é definido como um valor extremamente grande (no intervalo de exabytes) que nunca será alcançado na prática.


Hummm. OK. Isso reiterou muito do que eu descobri, mas boa resposta de qualquer maneira. Eu não sabia que o Heritrix truncava os arquivos em vez de ignorá-los.
18710 Nathaniel

3

Se for sobre " baixar 2MB no máximo " em vez de " baixar arquivos com no máximo 2MB ", você pode limitar a saída salva no disco.

wget -O - $url |head -c 1024(com um opcional > $SaveAsFile) -> salva o primeiro KB e o restante é truncado.

(o suficiente para ver um " OK: $ Message ", não matando meu / tmp com toneladas de mensagens de erro do controle remoto ;-))


Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.