Em um servidor da web, agora tenho que me registrar novamente. Percebi que o robots.txt está vazio. Gostaria de saber se há uma diferença entre um robots.txt vazio e nenhum arquivo.
Os rastreadores se comportam de maneira diferente nesses dois casos? Portanto, é seguro excluir um robots.txt vazio?
Respostas:
Os rastreadores se comportam de maneira diferente nesses dois casos?
Um arquivo robots.txt vazio não é realmente diferente de um que não foi encontrado, ambos não impedem o rastreamento.
No entanto, você pode receber muitos 404erros nos logs do servidor quando os rastreadores solicitarem o arquivo robots.txt , conforme indicado nesta pergunta aqui .
Portanto, é seguro excluir um robots.txt vazio?
Sim, com a ressalva acima.
Não. Não há diferença.
Você receberia erros 404 no log do servidor e, se estiver inscrito em coisas como as ferramentas do Google Web Master, isso poderá indicar que você não possui um, mas em termos do comportamento do robô rastreador - eles são os mesmos para qualquer robô que você gosta.