Perguntas com a marcação «robots.txt»

Acabei de atualizar meu arquivo robots.txt em um novo site. As Ferramentas do Google para webmasters relatam que ele leu meu robots.txt 10 minutos antes da minha última atualização. Existe alguma maneira de incentivar o Google a reler meu robots.txt o mais rápido possível? UPDATE: Em Configuração do Site | …

22 google  robots.txt  google-webmaster-tools 

A fim de: Aumentar a segurança do meu site Reduzir os requisitos de largura de banda Impedir a coleta de endereços de email

14 performance  security  robots.txt 

Estou tentando definir robots.txtpara todos os hosts virtuais no servidor http nginx. Consegui fazer isso no Apache colocando o seguinte em principal httpd.conf: <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt Tentei fazer algo semelhante com o nginx adicionando as linhas abaixo (a) dentro do nginx.conf e (b) como include …

13 nginx  robots.txt 

Temos uma configuração de servidor da Web de desenvolvimento XAMPP Apache com hosts virtuais e queremos impedir que os serviços de rastreamento rastreiem todos os nossos sites. Isso é feito facilmente com um arquivo robots.txt. No entanto, preferimos não incluir um robots.txt não permitido em todos os vhost e depois …

10 apache-2.2  php  robots.txt