Perguntas com a marcação «web-crawlers»

Estou migrando um site para um novo domínio. O site em si é bastante simples (usa Jekyll) e tudo correu bem - exceto a migração dos threads do Disqus. Eu tive sucesso parcial - alguns dos threads foram migrados com êxito, mas não todos. Eu tentei o assistente de migração …

9 web-crawlers 

Eu tenho usado Ask.comcomo um dos mecanismos de pesquisa para executar ping no meu sitemap. Quando fui executar ping no meu mapa do site hoje para que ele fosse indexado novamente, o site ( http://submissions.ask.com/ping ) informa que ele não existe mais? Fiz uma pesquisa de DNS submissions.ask.come parece que …

9 search-engines  sitemap  web-crawlers  ping 

Eu tenho um site que, por motivos de regulamentação, pode não ser indexado ou pesquisado automaticamente. Isso significa que precisamos manter todos os robôs afastados e impedir que eles invadam o site. Obviamente, tivemos um arquivo robots.txt que não permite tudo desde o início. No entanto, observar o arquivo robots.txt …

9 apache  web-crawlers  user-agent 

Vi alguns erros 404 quando o ads.txt é solicitado em alguns sites gerenciados por mim. Acho que a resposta pode ser idêntica à pergunta sobre um arquivo robots.txt vazio ou nenhum arquivo (apenas evite alguns erros 404). No entanto, estou tendo dificuldade em entender os conceitos subjacentes por trás do …

9 web-crawlers  advertising 

Eu gostaria de negar o archive.isacesso ao meu site. (Não quero que este site armazene em cache o meu sem o meu consentimento). Você sabe se é possível?

8 web-crawlers  noarchive 

Minha esposa trabalha em uma escola na Alemanha. Recentemente, notei que é extremamente difícil encontrar a página inicial dessa escola usando o Google. Eu olhei o código fonte da página e acredito que encontrei o motivo: existem duas <meta name="robots">tags; um é <meta name="robots" content="all"> e o segundo, mais abaixo …

8 seo  web-crawlers  meta-robots 

Se eu criar uma página estática em um domínio (http://www.domain.com/page.html), um rastreador ainda poderá vê-la se não houver links para ela em nenhum lugar do site?

8 web-crawlers