Perguntas com a marcação «internet-archive»

Existem mecanismos para controlar o que o Internet Archive arquiva em um site? Sei que não permitir todas as páginas que eu poderia adicionar : User-agent: ia_archiver Disallow: / Posso dizer ao bot que quero que ele rastreie meu site uma vez por mês ou uma vez por ano? Eu …

13 cache  internet-archive 

Eu tenho um site que geralmente não quero que seja indexado pelos mecanismos de busca, mas quero preservá-lo por toda a eternidade em archive.org. Então, meu robots.txtcomeço com isso: User-agent: * Disallow: / Hoje, de acordo com o archive.org , tenho que adicionar o seguinte no meu robots.txtpara permitir seus …

10 web-crawlers  robots.txt  internet-archive