Li as respostas nesta pergunta, mas elas ainda deixam minha pergunta em aberto: o Google armazena em cache o robots.txt?
Não encontrei uma maneira nas Ferramentas do Google para webmasters para invocar um novo download do meu robots.txt .
Por algum erro, meu robots.txt foi substituído por:
User-agent: *
Disallow: /
E agora todo o meu conteúdo foi removido dos resultados de pesquisa do Google.
Obviamente, estou interessado em corrigir isso o mais rápido possível. Já substitui o robots.txt , mas não consigo encontrar uma maneira de fazer o Google atualizar a versão em cache.
1
A simples exclusão de todas as suas páginas no robots.txt geralmente não deve ser suficiente para removê-las completamente dos resultados do Google, desde que outros sites ainda os vinculem.
—
Ilmari Karonen
Hmm, é complicado. Os URLs do ZenCart parecem confundir o bot do rastreador da web robots.txt e, antes que você perceba, você bloqueou os URLs que não deseja que sejam bloqueados. Minha experiência é que você está melhor sem o robots.txt, mas apenas mantendo um site limpo. Perdi muitos lugares de classificação na web devido a este erro de bloqueio de robots.txt de URLs válidos. Como o ZenCart usa URLs dinâmicos, parece confundir o rastreador da Web robots.txt, resultando no bloqueio de URLs que você não espera que sejam bloqueados. Não tenho certeza se ele se relaciona com a desativação de uma categoria em ZenCart e, em seguida, os produtos se deslocam para fora dessa categoria um