É possível que os rastreadores da Web vejam páginas estáticas sem seguir um link para elas?

Se eu criar uma página estática em um domínio (http://www.domain.com/page.html), um rastreador ainda poderá vê-la se não houver links para ela em nenhum lugar do site?

Eles podem ver isso? Sim. Eles podem encontrá-lo? Não sem ajuda.

Geralmente, os rastreadores da Web encontram páginas a serem rastreadas seguindo os links para outras páginas. Alguns rastreadores (por exemplo, rastreadores de mecanismos de pesquisa) também rastrearão páginas listadas em arquivos XML especiais. Portanto, se não houver um link para a página no seu site ou em qualquer outro site, essa página não será rastreada (as páginas que contêm o URL dessa página, mas estão em texto sem formatação , serão encontradas pelo Google ).

No entanto, quando uma página é encontrada e rastreada, ela pode ser rastreada novamente, mesmo que todos os links para essa página sejam removidos de seus respectivos sites. Isso ocorre porque as páginas rastreadas são indexadas (por exemplo, adicionadas à lista de rastreadores para rastrear novamente), para que o rastreador saiba que deve rastrear novamente mais tarde para procurar alterações. Se você deseja impedir que isso aconteça, siga um destes procedimentos:

Mais efetivo

• Remova a página da Internet
• O URL da página foi alterado (removendo a página e adicionando uma nova)
• Coloque-o atrás de um login

Menos efetivo

• Bloqueie essa página usando um arquivo robots.txt (que pode ser ignorado)
• Tente filtrar os bots ruins por IP (que pode mudar a cada visita) ou agente do usuário (pode ser falsificado)

Outra maneira de descobrir a página é quando você tem links para outros sites nessa página.

O URL da sua página aparecerá nos registros de referência. Um bom tempo para muitos webmasters é navegar rapidamente por esses registros e ver o que os outros estão dizendo sobre suas páginas.

Alguns sites parecem fornecer acesso a esses logs sem nenhuma restrição de acesso, portanto, os rastreadores também podem acessá-los ...

Para manter a página realmente em segredo, não a deixe vincular a sites externos.