Perguntas com a marcação «robots.txt»

Robots.txt é um arquivo de texto usado pelos proprietários do site para fornecer instruções sobre o site aos robôs da web. Basicamente, ele informa aos robôs quais partes do site estão abertas e quais estão fechadas. Isso é chamado de Protocolo de exclusão de robôs.

4
Arquivos que eu deveria ter em todos os sites
Eu gostaria de ter uma lista de arquivos que deveriam existir em todos os sites. A idéia é agradar a maioria dos navegadores e bots e diminuir o número de 404 mensagens nos logs. Até agora, tenho os seguintes arquivos: /favicon.ico /robots.txt /sitemap.xml /apple-touch-icon-72x72-precomposed.png /apple-touch-icon-72x72.png /apple-touch-icon-precomposed.png /apple-touch-icon.png Existem outros arquivos …




2
Como desaprovo um diretório inteiro com o robots.txt?
Atualmente, tenho dois sites em que estou trabalhando: um carrinho de compras e outro comprador. Ambos estão com o mesmo nome de domínio. Por exemplo, http://example.com/first_url http://example.com/second_url Ambos os URLs têm toneladas de páginas abaixo deles http://example.com/first_url/product1 http://example.com/first_url/product2 http://example.com/first_url/product3 http://example.com/second_url/product1 http://example.com/second_url/product2 http://example.com/second_url/product3 Como desaprovo o URL principal /first_urle /second_urltambém todos …
19 seo  robots.txt 


7
O Google armazena em cache o robots.txt?
Adicionei um arquivo robots.txt a um dos meus sites há uma semana, o que deveria ter impedido o Googlebot de tentar buscar determinados URLs. No entanto, neste fim de semana, vejo o Googlebot carregando esses URLs exatos. O Google armazena em cache o robots.txt e, em caso afirmativo, deveria?

3
O robots.txt pode estar no subdiretório de um servidor?
Eu tenho um subdiretório que gostaria de ocultar dos rastreadores da Web do mecanismo de pesquisa. Uma maneira de fazer isso é usar a robots.txtno diretório raiz do servidor (a maneira padrão). No entanto, qualquer pessoa que conheça o URL do site e tenha algum conhecimento básico da Web pode …


3
O que é um arquivo robots.txt válido mínimo?
Não gosto de ver muitos erros 404 no access.log do meu servidor web. Estou recebendo esses erros porque os rastreadores tentam abrir um arquivo robots.txt , mas não conseguiram encontrar nenhum. Então, eu quero colocar um arquivo robots.txt simples que impeça que os erros 404 apareçam no meu arquivo de …
14 robots.txt 

3
Robots.txt - CSS permite ou não permite
CSS e modelos são permitidos no robots.txt ? Deve causar algum problema? No Joomla, CSS e modelos não são permitidos no robots.txt . Por favor, ajude-me a encontrar uma solução para colocar ou não a proibição de robôs para CSS, modelos etc. nos meus próximos sites.
12 css  robots.txt 




2
As Ferramentas do Google para webmasters me dizem que os robôs estão bloqueando o acesso ao mapa do site
Este é o meu robots.txt : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Mas as Ferramentas do Google para webmasters me dizem que os robôs estão bloqueando o acesso ao mapa do site: Encontramos um erro ao tentar acessar seu Sitemap. Verifique se o seu Sitemap segue nossas diretrizes …

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.