Uso a seguinte linha nos <head>meus sites há anos:
<meta name="revisit-after" content="3 days" />
Recentemente, descobri que não é uma das metatags que o Google entende, o que entendo que não há sentido em incluí-lo e que ele não está sendo bom há anos.
Com que frequência os mecanismos de pesquisa rastreiam um site por padrão e que maneiras confiáveis existem para aumentar ou diminuir essa frequência?
Respostas:
Você pode controlar a rapidez com que o Google rastreia seu site nas Ferramentas do Google para webmasters .
A taxa de rastreamento do seu site determina o tempo usado pelo Googlebot para rastrear o site em cada visita. Nosso objetivo é rastrear completamente o site (para que suas páginas possam ser indexadas e retornadas nos resultados de pesquisa!) Sem criar um impacto perceptível na largura de banda do servidor. Embora a maioria dos webmasters esteja bem usando a configuração de rastreamento padrão (ou seja, nenhuma alteração é necessária, mais sobre isso abaixo), alguns webmasters podem ter necessidades mais específicas.
O Googlebot emprega algoritmos sofisticados que determinam quanto rastrear cada site visitado. Para a grande maioria dos sites, provavelmente é melhor escolher a opção "Permitir que o Google determine minha taxa de rastreamento", que é o padrão. No entanto, se você é um usuário avançado ou está enfrentando problemas de largura de banda com seu servidor, pode personalizar sua taxa de rastreamento para a velocidade ideal para o (s) servidor (es) da Web. A opção de taxa de rastreamento personalizada permite que você forneça informações ao Googlebot sobre o número máximo de solicitações por segundo e o número de segundos entre as solicitações que você considera melhores para o seu ambiente.
O Googlebot determina o intervalo de valores da taxa de rastreamento que você terá disponível nas Ferramentas do Google para webmasters. Isso se baseia em nossa compreensão dos recursos do seu servidor. Esse intervalo pode variar de um site para outro e ao longo do tempo com base em vários fatores. Definir a taxa de rastreamento para um valor abaixo do padrão pode afetar a cobertura e a atualização do seu site nos resultados de pesquisa do Google. No entanto, configurá-lo para um valor mais alto que o padrão não melhorará sua cobertura ou classificação. Se você definir uma taxa de rastreamento personalizada, a nova taxa entrará em vigor por 90 dias após os quais será redefinida para o valor recomendado do Google.
Você pode usar essa configuração apenas para sites no nível raiz e sites não hospedados em um domínio grande como o blogspot.com (temos configurações especiais atribuídas a eles). Para verificar a configuração da taxa de rastreamento, faça login nas Ferramentas do Google para webmasters e visite a guia Configurações. Se você tiver perguntas adicionais, visite a Central de Ajuda para webmasters para saber mais sobre como o Google rastreia seu site ou poste suas perguntas no Fórum de Ajuda para webmasters.
Além disso, você provavelmente precisaria criar seu próprio sistema de filtragem que fareja seus agentes de usuário e permite ou nega bots de mecanismo de pesquisa com base em seu agente de usuário. Mas isso afetaria apenas a diminuição de sua frequência.
Para responder à segunda parte da sua pergunta, você pode informar ao Google usando as Ferramentas do Google para webmasters
Para alterar a taxa de rastreamento:
Na página inicial das Ferramentas do Google para webmasters, clique no site desejado.
Em configuração do site, clique em configurações.
Na seção Taxa de rastreamento, selecione a opção desejada.
https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=pt_BR
Nas Perguntas frequentes do Bing , refere-se a esta postagem, que recomenda definir Crawl-Delay: Xonde x é o número de segundos a aguardar entre cada solicitação.
Obviamente, os sitemaps indicam com que frequência as páginas são alteradas.