É isso, é tudo o que eu quero saber com isso. - Fiz uma pesquisa no Google e nem sequer menciona essas situações (rastreamento de sites com o índice Apache / layout de índice sofisticado); mas sei que posso enviar uma aranha para um site e encontrar todos os tipos de coisas que não estão vinculadas. O Googlebot pode fazer o mesmo com sites como o meu [insurgent.info]?
Respostas:
O Googlebot pode rastrear ou obter URLs / URIs dos sites de índice Apache / fantasia?
Sim.
Fiz uma pesquisa no Google e nem sequer menciona essas situações (rastreamento de sites com o índice Apache / layout de índice sofisticado).
Provavelmente porque realmente não há nada notável para mencionar. =)
A incapacidade de analisar parte ou a totalidade de uma página geralmente surge apenas com JavaScript, pois, excluindo o Google, a maioria dos rastreadores da Web não executa código JavaScript. O Apache retorna índices (mesmo as versões sofisticadas) como páginas HTML simples (sem JavaScript).
É provável que haja uma conversa sobre otimização de mecanismo de pesquisa com sites apenas de índice, mas provavelmente é sobre isso. Dito isto, pesquisar " firefox ftp " no Google retorna https://ftp.mozilla.org/pub/firefox/releases/ como seu primeiro resultado.
Eu sei que posso enviar uma aranha para um site e encontrar todos os tipos de coisas que não estão vinculadas ...
Tudo o que uma aranha (ou o que você tem) normalmente acessa é vinculado como um URL / URI em algum lugar do código para as páginas analisadas (mesmo que não seja visível para visitantes "normais").
As únicas exceções a isso podem ser:
Links que exigem acesso por JavaScript (por exemplo, no carregamento lento), que os bots mais avançados às vezes podem fazer de qualquer maneira, pelo menos em conjunto com navegadores sem cabeça.
Links baseados na adivinhação de URL de força bruta (geralmente praticada por scripts / ferramentas maliciosas etc.).
Links criados por engano por algum erro de configuração do servidor ou vulnerabilidade de segurança, que levam a arquivos fora da raiz da web.
... então o Googlebot pode fazer o mesmo com sites como o meu?
Em relação ao índice Apache / páginas de índice sofisticadas, o Googlebot pode indexar tudo o que um visitante regular (ou até mais experiente) pode acessar.