Como o Google encontra um domínio sem links para ele?

Recentemente, registrei um novo domínio, apontei para o meu servidor existente e configurei uma página mínima dizendo "teste" e nada mais.

Acabei de descobrir hoje à noite que a página já está indexada no Google! Não há links para o site (eu nem contei a ninguém sobre o domínio, pois ainda não fiz nada com ele).

O Google está arrastando registros WHOIS ou algo assim?

search-engine-indexing domain-registration web-crawlers

— DisgruntledGoat
fonte

Tem certeza de que não fez algo que possa expor automaticamente o URL de alguma forma, como mencioná-lo em um email para uma lista (que pode ser republicada), navegue diretamente de lá para outro site que possa ter registros públicos ou um widget de referência, etc.?

— Su '21 /

@ Su não que eu saiba. Eu mal visitei o site depois que vomitei a página de teste.

— usar o seguinte

@TRiG Eu já mencionei a mesma pergunta, mas não há uma resposta perfeita, então perguntei.

— Sheshadri

Você não fez nada para tornar essa pergunta diferente. É exatamente a mesma pergunta.

— TRiG

@TRiG Sim, a pergunta é a mesma, mas nessa pergunta não há resposta perfeita.

— Sheshadri

Respostas:

Eles são um registrador . Não vejo por que eles não puderam usá-lo para encontrar novos sites para indexar.

— John Conde
fonte

Ah, eu adoro o parágrafo desse artigo dizendo que eles estão criando um navegador e um sistema operacional! De qualquer forma, sua resposta parece lógica - para ser um registrador, você deve ter acesso total a todos os domínios registrados.

— usar o seguinte

Existem pelo menos três maneiras:

Links para o seu site.
Usando as Ferramentas do Google para webmasters (agora chamado Search Console)
Despejos, gatilhos e outras opções do Registrador.

O Google encontrará muitos sites novos rapidamente de alguns registradores. Por exemplo, o Google encontrou um nome de domínio que registrei usando o GoDaddy, o indexou e começou a enviar resultados de pesquisa em 20 minutos após o registro do nome de domínio. Mas isso não acontecerá para todos os registradores.

Também pode haver outras maneiras, mas essas são as mais comuns.

Se você deseja que o Google conheça rapidamente seu site, a melhor opção é enviá-lo usando as Ferramentas do Google para webmasters (agora chamado Search Console).

@zigojacko levantou um grande ponto (!) nos comentários que realmente devem estar dentro da resposta. Se você possui uma conta do Google+, pode simplesmente criar um link para seu site, e o Google aceitará isso imediatamente. É pelo menos tão rápido quanto criar uma conta WMT, se não mais rápido!

[Dica]

Os sitemaps e os arquivos robots.txt não têm nada a ver com a descoberta de domínio. De fato, os sitemaps são inúteis para a maioria dos sites, com exceção de sites extremamente grandes, sites que não podem ser rastreados completamente porque nem todas as páginas estão vinculadas, sites com paywall ou sites com login. Os Sitemaps não têm nada a ver com o desempenho da pesquisa, exceto pelos motivos mencionados acima. Além disso, é sempre aconselhável criar um arquivo robots.txt, mesmo que esteja vazio.

— closetnoc
fonte

@sheshadri Anytime !! Estamos aqui para você e temos alguns especialistas reais aqui. Este é um site no qual o Google e outros sites oficiais prestam atenção e respondem.

— Closetnoc 24/07/2015

@sheshadri Muitos registradores maiores compartilham novas informações de registro com o Google quase em tempo real.

— Closetnoc 24/07/2015

Para lançar mais uma ideia à mistura, além da resposta correta do @ closetnoc, é vincular o site ao Google+. Isso parece desencadear algo no Google para enviar uma visita do Googlebot muito rapidamente, às vezes tão rápido quanto dentro de uma hora, embora alguns sejam mais longos.

— Zigojacko

O Google também é um registrador de domínios, por isso presumo que eles devem ter acesso a todos os domínios que foram registrados.

— Max

@zigojacko Great point !! Costumo esquecer o Google+, pois não faço a coisa social.

— Closetnoc 24/07/2015

-1

Se você usa a Barra de Ferramentas Google e tem as informações do Page Rank ativadas, ele informará o Google sobre o URL da página (para obter o número do Page Rank) e isso poderá fazer com que sua página seja indexada.

— mawtex
fonte

Não, não use isso ou algo parecido.

— usar o seguinte

Um não tem nada a ver com o outro. O banco de dados da barra de ferramentas e o banco de dados de pesquisa são total e completamente separados um do outro. O banco de dados da barra de ferramentas é atualizado a partir de agentes agregados.

— Closetnoc 24/07/2015

Sem mencionar que o TBPR do Google já foi anulado há muito tempo, portanto, provavelmente não faz mais nada.

— Zigojacko 24/07