Não gosto de ver muitos erros 404 no access.log do meu servidor web. Estou recebendo esses erros porque os rastreadores tentam abrir um arquivo robots.txt , mas não conseguiram encontrar nenhum. Então, eu quero colocar um arquivo robots.txt simples que impeça que os erros 404 apareçam no meu arquivo de log.
O que é um arquivo robots.txt válido mínimo que permitirá que todo o site seja rastreado?
Respostas:
Conforme indicado aqui , crie um arquivo de texto chamado robots.txt no diretório de nível superior do seu servidor da web. Você pode deixá-lo vazio ou adicionar:
User-agent: *
Disallow:
Se você quiser que os robôs rastreiem tudo . Caso contrário, consulte o link acima para obter mais exemplos.
O melhor mínimo robots.txté um arquivo completamente vazio.
Quaisquer outras diretivas "nulas", como uma vazia Disallowou Allow: *não são apenas inúteis porque não são operacionais, mas adicionam complexidade desnecessária.
Se você não deseja que o arquivo fique completamente vazio - ou deseja torná-lo mais legível por humanos - basta adicionar um comentário começando com o #caractere, como # blank file allows all. Os rastreadores ignoram as linhas que começam com #.
Eu diria isso;
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Isso permitirá que o Google rastreie tudo, mas não permitirá que o Google rastreie seu painel aadminn. Qual é a situação ideal para você.