O que é um arquivo robots.txt válido mínimo?


14

Não gosto de ver muitos erros 404 no access.log do meu servidor web. Estou recebendo esses erros porque os rastreadores tentam abrir um arquivo robots.txt , mas não conseguiram encontrar nenhum. Então, eu quero colocar um arquivo robots.txt simples que impeça que os erros 404 apareçam no meu arquivo de log.

O que é um arquivo robots.txt válido mínimo que permitirá que todo o site seja rastreado?

Respostas:


17

Conforme indicado aqui , crie um arquivo de texto chamado robots.txt no diretório de nível superior do seu servidor da web. Você pode deixá-lo vazio ou adicionar:

User-agent: *
Disallow:

Se você quiser que os robôs rastreiem tudo . Caso contrário, consulte o link acima para obter mais exemplos.


Por que adicionar "Disallow:" e não apenas "Allow: *"?
Athoxx

2
O @Patrik "Allow" é para substituir quaisquer diretivas anteriores "Disallow". Não faz sentido se não houver "Proibir". Honestamente, a melhor solução é um arquivo em branco.
usar o seguinte

2
Ah entendo. Também concordo que um arquivo em branco é o melhor.
Athoxx

2
@PatrikAlienus Porque "Allow" não está na especificação robots.txt.
User11153

1
@ user11153: Hein? E a seção "3.2.2 As linhas Permitir e Não Permitir" da especificação do Internet Draft de 1997, Método para controle de robôs da Web ?
David Cary

2

O melhor mínimo robots.txté um arquivo completamente vazio.

Quaisquer outras diretivas "nulas", como uma vazia Disallowou Allow: *não são apenas inúteis porque não são operacionais, mas adicionam complexidade desnecessária.

Se você não deseja que o arquivo fique completamente vazio - ou deseja torná-lo mais legível por humanos - basta adicionar um comentário começando com o #caractere, como # blank file allows all. Os rastreadores ignoram as linhas que começam com #.


0

Eu diria isso;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Isso permitirá que o Google rastreie tudo, mas não permitirá que o Google rastreie seu painel aadminn. Qual é a situação ideal para você.


2
Posso estar faltando alguma coisa, mas não acho que o autor da pergunta tenha usado o Wordpress.
Maximillian Laumeister
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.