Espelhando um site atrás de um formulário de login


10

Versão curta:

  • Gostaria de tirar uma cópia offline de uma URL que inclua as imagens HTML + CSS + JS + completas e as salve localmente, mantendo a estrutura e o conteúdo do arquivo do site original.
  • Estou tendo problemas com as ferramentas que posso encontrar (por exemplo, a extensão do Firefox "Save Complete", HTTrack, wget, Teleport Pro) parcialmente porque o URL está atrás de um formulário de login.

Versão mais longa:

Ao trabalhar no meu aplicativo, muitas vezes eu quero tirar uma versão offline completa das imagens HTML + CSS + JS + para enviar ao designer com quem trabalho, que faz modificações e as envia de volta. Aplico as alterações no aplicativo.

Isso se mostrou muito mais eficiente do que fazer com que ele navegasse em nosso código com um aplicativo ao vivo, mas há um problema - não consigo encontrar um aplicativo de espelhamento que seja conveniente.

Extensões do Firefox como "Salvar concluído" já possuem o cookie de login, portanto, não se preocupe com o fato de estarem atrás de um formulário de login, mas manipulam os arquivos salvos localmente, impossibilitando o trabalho com eles.

Ferramentas de espelhamento como o wget ou o Teleport Pro não são compatíveis com o nosso formulário de login.

O HTTrack, no entanto, deve ser capaz de executar no modo proxy para detectar as informações de login, mas eu nunca consegui fazê-las funcionar. Como alternativa, ele pode aceitar cookies que eu conecte com firmeza em seu arquivo cookies.txt, mas sempre levo horas para fazer isso de forma confiável.

Alguma ferramenta, extensões de navegador etc. que possam fazer isso? Código aberto, comercial - qualquer coisa. Se eu tenho usado mal o HTTrack e é realmente trivial, também é uma ótima resposta.

Respostas:


7

Com o HTTrack, você pode usar um arquivo cookies.txt ao fazer o download. Eu usei para espelhar com sucesso um site moodle.


Obrigado - Eu já fiz isso antes com o HTTrack, mas por algum motivo, sempre preciso de várias tentativas para que ele funcione, embora não possa ver uma razão para isso. Você já conseguiu que o suporte à autenticação de formulários interno funcionasse? Nunca funcionou para o meu site. httrack.kauler.com/help/CatchURL_tutorial
orip

2
O que fiz foi fazer login no meu navegador e exportar o arquivo cookies.txt, adicionar a página de logout à lista negra e deixá-lo em execução. Levei algumas tentativas devido à estupidez do moodle, mas eu tenho que trabalhar
TheLQ

5

Eu fiz isso com sucesso com o WinHTTrack . Você pode seguir o procedimento normal para capturar um site, com dois ajustes menores nas configurações:

  1. No Chrome, abra as Ferramentas de Desenvolvimento e faça login no site que você precisa capturar. Na guia Rede, clique na página HTML solicitada para encontrar o cookie da sessão (o nome disso será diferente dependendo da estrutura de back-end usada). Coloque isso no HTTrack em "Cabeçalhos HTTP adicionais".

  2. Verifique também se a sequência de caracteres do agente do usuário corresponde, pois às vezes as sessões são bloqueadas se a sequência do agente do usuário for alterada.

    Login de cookie de sessão no HTTrack

  3. Comece a baixar o site. O resultado deve ser exatamente como se você estivesse logado.


3

Você já experimentou o Offline Explorer ?

Lembro-me de algo como permitir que você faça login, salvando cookies para solicitações subsequentes e fará o resto. Não tenho certeza de 100%, pois eu o estava usando há muito tempo.


Impressionante, parece que a versão Pro suporta POST em formulários, eu vou dar uma olhada
orip

Demorei um pouco para descobrir, e a documentação era escassa, mas percebi que poderia usar o navegador baseado no IE incorporado para fazer login no formulário e depois escolher "Adicionar o próximo link clicado como projeto". O recurso "gravação automática" também era bom, embora ocasionalmente atrapalhasse o meu formulário. Vou avaliar por 30 dias, pode ser o que estou procurando.
orip

2

O Teleport Pro permite que um login e senha sejam usados.

Ao iniciar um Assistente de Novo Projeto, você chegará a um ponto em que ele oferece essa opção (acho que está na terceira tela de opções).

E mesmo se você errar, poderá acessar essa opção novamente.

Na janela principal (depois de passar pelo Assistente de Projeto), clique com o botão direito do mouse no seu projeto (pequeno ícone de pasta exibindo o URL que você está tentando baixar, no painel esquerdo) e escolha a última opção Starting Address Propertiese você verá uma tela de opções onde você pode especificar um login e uma senha de usuário a serem usados ​​nesse site.


Essa é uma pergunta antiga, mas o teleport pro suporta autenticação http , não inserindo dados nos formulários POST.
Fake Name
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.