Salve uma única página da web (com imagens de fundo) com o Wget

Eu quero usar o Wget para salvar páginas da Web únicas (não recursivamente, nem sites inteiros) para referência. Muito parecido com a "Página da Web do Firefox, completa".

Meu primeiro problema é: não consigo fazer com que o Wget salve as imagens de plano de fundo especificadas no CSS. Mesmo que ele salvasse os arquivos de imagem de plano de fundo, acho que --convert-links converteria os URLs da imagem de plano de fundo no arquivo CSS para apontar para as imagens de plano de fundo salvas localmente. O Firefox tem o mesmo problema.

Meu segundo problema é: se houver imagens na página que eu queira salvar que estejam hospedadas em outro servidor (como anúncios), elas não serão incluídas. --span-hosts não parece resolver esse problema com a linha abaixo.

Estou a usar: wget --no-parent --timestamping --convert-links --page-requisites --no-directories --no-host-directories -erobots=off http://domain.tld/webpage.html

Na página do manual Wget :

Na verdade, para baixar uma única página e todos os seus requisitos (mesmo que existam em sites separados) e garantir que o lote seja exibido corretamente localmente, esse autor gosta de usar algumas opções além de '-p':

wget -E -H -k -K -p http://www.example.com/

Também no caso de robots.txtnão permitir você adicionar-e robots=off

O wgetcomando oferece a opção --mirror, que faz o mesmo que:

$ wget -r -N -l inf --no-remove-listing

Você também pode participar -xpara criar uma hierarquia de diretórios inteira para o site, incluindo o nome do host.

Talvez você não tenha conseguido encontrar isso se não estiver usando a versão mais recente wget.

Parece que o wgetFirefox não está analisando o CSS para obter links para incluir esses arquivos no download. Você pode contornar essas limitações, criando o que puder e criando scripts para a extração de links de qualquer CSS ou Javascript nos arquivos baixados para gerar uma lista dos arquivos que você perdeu. Em seguida, uma segunda execução wgetdessa lista de links poderia capturar o que estava faltando (use o -isinalizador para especificar os URLs de uma lista de arquivos).

Se você gosta do Perl, existe um módulo CSS :: Parser no CPAN que pode lhe proporcionar um meio fácil de extrair links dessa maneira.

Observe que wgetestá analisando apenas determinadas marcações html ( href/ src) e css uris ( url()) para determinar quais requisitos de página obter. Você pode tentar usar complementos do Firefox, como DOM Inspector ou Firebug, para descobrir se as imagens de terceiros que você não está obtendo estão sendo adicionadas por Javascript - nesse caso, será necessário recorrer a um script ou plugin do Firefox para obtê-las. também.

Criei a Webtography para um objetivo semelhante: https://webjay.github.io/webtography/

Ele usa o Wget e envia o site para um repositório na sua conta do GitHub.

Eu uso esses argumentos:

--user-agent=Webtography
--no-cookies
--timestamping
--recursive
--level=1
--convert-links
--no-parent
--page-requisites
--adjust-extension
--max-redirect=0
--exclude-directories=blog

https://github.com/webjay/webtography/blob/master/lib/wget.js#L15-L26