Download recursivo (`wget -r`) equivalente ao Firefox?


15

Eu tenho um site e quero fazer o download de todas as páginas / links desse site. Eu quero fazer um wget -rneste URL. Nenhum dos links fica "fora" deste diretório específico, por isso não estou preocupado em baixar a Internet inteira.

Como se vê, as páginas que eu quero estão atrás da seção protegida por senha do site. Embora eu possa usar o wget para fazer manualmente essa negociação de cookies, seria muito mais fácil para mim "fazer login" no navegador e usar algum plug-in do Firefox para baixar recursivamente tudo.

Existe uma extensão ou algo que me permita fazer isso? Muitas extensões concentram-se em obter mídia / imagens da página (heh. Heh.), Mas estou interessado em todo o conteúdo - HTML e tudo mais.

Sugestões?

Obrigado!

Editar

DownThemAll parece uma sugestão interessante. Ele pode fazer um download recursivo ? Como em, faça o download de todos os links da página e faça o download de todos os links contidos em cada uma dessas páginas, etc.? Para que eu basicamente espelhe toda a árvore de diretórios seguindo os links? Tipo como a -ropção de wget?

Respostas:


7

DownThemAll não faz download recursivo. Ele pega apenas links da página atual. Somente a página HTML dos URLS vinculados é baixada. As imagens e a mídia das páginas vinculadas não são baixadas.


6

O SpiderZilla deve fazer isso - mas é um pouco antigo (2006).
É baseado na copiadora do site HTTrack .
Que possui versões atualizadas para todas as plataformas.

Há também outro complemento mais antigo que pode permitir que você se conecte ' wget' (entre outras coisas).

No entanto, também sinto que o DownThemAll é provavelmente uma boa escolha.
Se você sabe o que deseja espelhar, selecionar os links certos não deve ser um problema.
E você sempre pode marcar a caixa de seleção 'Todos'.

Então, +1, para DownThemAll, se você deseja manter o navegador.
E use o HTTrack se quiser uma ferramenta independente (e o wget não é útil).

Atualização: você também pode consultar os votos do HTTrack nesta questão de recompensa:
Como posso baixar um site inteiro .


O DTA não suporta recursão
Hayden Thring

4

Você pode usar wget -rcom cookies do navegador, extraídos após autorização.

O Firefox possui a opção "Copiar como cURL" no menu de contexto da solicitação de página na guia Rede das Ferramentas para Desenvolvedor da Web, tecla de atalho Ctrl + Shift + Q (pode ser necessário recarregar a página depois de abrir as ferramentas): captura de tela

Substitua o sinalizador de cabeçalho do curl pelo -Hwget --headere todos os cabeçalhos necessários, incluindo cookies, para continuar a sessão do navegador com o wget.

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.