Portanto, em todos os sites que não são voltados para pesquisas, aplicamos um arquivo robots.txt (por Como excluir um site dos resultados de pesquisa do Google em tempo real? Ou qualquer outra pergunta semelhante).
No entanto, se os termos de pesquisa forem suficientemente específicos, o próprio domínio poderá ser encontrado por meio de resultados. Um exemplo disso pode ser encontrado aqui . Como você pode ver no link, o próprio domínio pode ser encontrado (o conteúdo não é armazenado em cache, mas o domínio está listado). Além disso, a realização de uma pesquisa site:hyundaidigitalmarketing.com
deve ter 3 resultados. A verificação de backlinks também fornece alguns, mas obviamente não posso impedi-los (o link é permitido no contexto) ou controlar como eles são tratados (não é possível dizer ao host para adicionar nofollow, noindex).
Agora, eu sei que esse é um caso grave, mas os clientes de minhas empresas estão fazendo exatamente isso. De fato, nossos domínios são muito bons, portanto, mesmo pesquisas aparentemente arbitrárias estão gerando resultados relevantes. Agora, tenho que escrever um relatório sobre como / por que isso está acontecendo.
Por isso, recorro à maravilhosa rede Stack Exchange para me ajudar a entender o que está faltando ou a entender o que está acontecendo. Os links para artigos do setor são extremamente úteis, mas tudo o que você pode oferecer é obviamente excelente. Pretendo oferecer as recompensas da melhor maneira possível, para que isso seja uma resposta a ser adotada no futuro.
Edit: Eu abri uma recompensa sobre esta questão, na esperança de obter mais algumas respostas sobre ela. Também forneci os resultados de minha própria pesquisa abaixo.