Ao mover um site por meio de um redirecionamento 301, você deve configurar um robots.txt que não permite que robôs rastreiem o endereço antigo?

8

Um site em que estou trabalhando moveu um subdomínio para outro subdomínio por meio de um redirecionamento 301. No entanto, ao verificar o robots.txt do subdomínio antigo, ele possui um robots.txt que não permite que os rastreadores da Web do mecanismo de pesquisa o rastreiem.

Este é o movimento certo? Acredito que não, porque os rastreadores não poderão rastrear o site antigo para ver os códigos de status 301.

seo redirects robots.txt

— menino de esteira
fonte

3

A proibição já estava em vigor antes da mudança? Alguns sites não desejam estar nos mecanismos de pesquisa. Não está claro de que maneira a situação se desenrolou.

— user64742

11

Suas suspeitas estão certas, com o raciocínio exato que você mencionou. Se você impedir que os robôs acessem o site antigo, eles não poderão ver o redirecionamento 301.

— Theo van der Zee
fonte

Isso também significaria que o suco de link que estava apontando para o domínio antigo não será transferido para o novo domínio porque o robots.txt não está permitindo o rastreamento do Gbot?

— mat boy

11

Sim, é exatamente o que aconteceria se o robots.txt estivesse bloqueando o acesso aos bots.

— Theo van der Zee

5

Acredito que não, porque os rastreadores não poderão rastrear o site antigo para ver os códigos de status 301.

Sim, exatamente - este não é o "movimento certo". Se você implementar um redirecionamento 301, presumivelmente para preservar o SEO, o bloqueio dos URLs que estão sendo redirecionados impedirá que os mecanismos de pesquisa vejam o redirecionamento e indexem o novo conteúdo.

— DocRoot
fonte

Isso também significaria que o suco de link que estava apontando para o domínio antigo não será transferido para o novo domínio porque o robots.txt não está permitindo o rastreamento do Gbot?

— mat boy

@mat boy, "link juice" raramente é atualizado, se é que alguma vez. É provável que nunca seja atualizado para o novo domínio com ou sem o arquivo robots.txt, mas manter o 301 no lugar indefinidamente, garante que os links terminem no lugar certo.

— Octopus

11

@ Octopus Você parece estar descrevendo "PageRank", não "link juice"? "link juice" é apenas um termo comum / gíria que descreve os benefícios de SEO de vincular de uma página para outra.

— DocRoot 5/07

11

@matboy Sim, está certo, nenhum "link juice" será transferido para o novo URL. Como o bot está impedido de ver o redirecionamento, o bot (mecanismo de pesquisa) não sabe que a página foi movida para um local diferente. Os URLs antigos cairão nos SERPs e eventualmente desaparecerão, enquanto os novos URLs precisarão criar seu SEO do zero.

— docroot

0

Eu manteria o robots.txt como está, mas verifique se as páginas novas e antigas têm a versão apropriada das tags Canonical. Isso ajudará o mecanismo de busca a entender o que aconteceu.

— Jason
fonte

2

Como os rastreadores podem ler as tags canônicas na página da Web se você está dizendo para não rastrear a página?

— mat boy