Wget: converta links e evite fazer o download de arquivos já buscados?

12

Estou baixando dados espalhados entre vários arquivos que não mudam uma vez publicados.

Portanto, --timestampingnão é bom o suficiente, porque verifica constantemente qualquer recurso alterado, o que, no meu caso, é completamente inútil.

--no-clobbercaberia perfeitamente. Infelizmente, ele não funciona --convert-links por algum motivo.

Ambos --no-clobber e --convert-links foram especificados, apenas --convert-links serão usados.

Eu esperava que --backup-convertedisso ajudasse, mas não mudou nada (funciona para --timestamping).

Por que wget --convert-links --backup-converted --no-clobber --wait 1 https://example.comignora --no-clobbere como poderia ser corrigido?

wget download

— atividade redutora
fonte

Atingindo o mesmo problema hoje. Como você resolveu isso?

— Angelo Fuchs

1

@AngeloFuchs Eu nunca resolvi (eu postaria resposta se isso acontecesse). No final, no meu caso, fazer o download de links buscados era mais simples do que corrigir o wget ou mudar para outra coisa.

— reduzindo a atividade

você tentou --continue? isso geralmente significa continuar com um download abortado anteriormente. mas se o arquivo já foi buscado, ele não faz nada.

— JPT

1

Alguma possibilidade de usar o rsync? Você precisará ter acesso ssh ao sistema. (Eu nunca vi o rsync usado para http: // downloads.)

Algo assim obterá os arquivos que você nunca obteve e irá recuperar novamente os arquivos que pararam de baixar por algum motivo.

rsync -avzheP ssh root@192.168.0.100:/remotefolder/ /localfolder/

Isso pode não funcionar para você. Não há informações suficientes sobre o que você está tentando fazer.

— Mark Stewart
fonte

-2

Você não pode usar ambos --convert-linkse --no-clobber. Você receberá esta mensagem:

Both --no-clobber and --convert-links were specified, only --convert-links will be used.

wgetpode realizar o que você deseja, se você especificar --convert-linkse --timestamping. Mas isso só funcionará se o site de destino fornecer as informações de registro de data e hora do arquivo nos cabeçalhos de resposta.

— RashaMatt
fonte

Esta resposta não possui nada que não tenha sido mencionado na primeira revisão ( unix.stackexchange.com/posts/177330/revisions ) da minha pergunta.

— reduzindo a atividade