Perguntas com a marcação «robots.txt»

Robots.txt é um arquivo de texto usado pelos proprietários do site para fornecer instruções sobre o site aos robôs da web. Basicamente, ele informa aos robôs quais partes do site estão abertas e quais estão fechadas. Isso é chamado de Protocolo de exclusão de robôs.

Como impedir que determinados URLs sejam indexados

Quando digito site:example.com(usando meu domínio obviamente), recebo vários erros de link na lista. Normalmente, eles têm a forma:/some/fixed/path/admin/unblockUser/11 Estou pensando em adicionar a seguinte linha ao meu robots.txtarquivo: Disallow: /some/fixed/path/admin/*

8 seo google robots.txt google-index noindex

O formato de final de linha do robots.txt importa?

Pergunta simples: devo usar as terminações de linha Unix no meu robots.txt ou isso não importa?

7 robots.txt

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.

Licensed under cc by-sa 3.0 with attribution required.