Conhecendo sua Competição on-line como revelar os domínios de direção do 301

Eu realmente acredito que qualquer webmaster que ingresse em um nicho deve investigar sua concorrência on-line com antecedência para saber o que está enfrentando e para ver se seus objetivos são realistas e acessíveis em tempo e dinheiro.

Como você deve saber, existem algumas maneiras de investigar sua concorrência online. Rankings, rankings locais, citações, menções sociais e, claro, backlinks. Esta questão não está relacionada a nenhuma das opções acima, mas está relacionada de alguma forma porque tem a mesma meta final que você verá momentaneamente.

Espero que minha pergunta e as respostas a seguir possam ajudar outro webmaster a encontrar o mesmo problema. Ilustrarei o problema como um cenário que, com sorte, lhe dará uma idéia do que acredito e do que estou perguntando.

O cenário

Seu site está no topo há quase 2 anos em um nicho bastante competitivo. Então, do nada, você cai no ranking e um site que nunca esteve na página 10, não importa a posição 10, fica subitamente no topo.

Uma reação imediata pode ser um jogo sujo e você investiga o conteúdo e os backlinks, apenas para descobrir que o conteúdo é extremamente fino e que não há backlinks. Portanto, a possibilidade aqui é que os backlinks não tenham sido indexados para esse site com qualquer ferramenta que você use para verificar ainda. Ou o Google, por qualquer motivo, cometeu um erro que se resolverá sozinho.

Quatro meses depois, e o mesmo site fino com 0 backlinks (apenas os de bot / scrapers esperados - estatísticas da web etc.) ainda está no topo da classificação.

Parece que este site está aqui para ficar e você começa a pensar em outros motivos pelos quais seu site está sendo superado.

Um possível motivo pode ser o fato de o seu ranking ter caído, juntamente com muitos outros sites, mas a queda de todos esses sites não é realista, portanto, o único caminho a seguir seria acreditar que eles obtiveram o ranking por reputação no Google ou jogo sujo. . A conclusão aqui seria - ou pelo menos minha - que o site em questão mudou recentemente de um domínio para outro. Eles podem ter apenas um redirecionamento simples de 301 de um domínio para outro, ou podem ter dito ao Google nas Ferramentas do Google para webmasters que mudaram de site. Cenário terminado.

A questão

Minha pergunta é bastante simples e peço desculpas pelos longos parágrafos do texto, mas quero uma boa idéia do que está tentando ser alcançado aqui. Basta digitar, eis a questão!

É possível descobrir se um domínio mudou de um domínio para outro, usando 301 redirecionamentos ou movendo-se nas Ferramentas do Google para webmasters?

Saber o URL redirecionado 301 é possível em vários casos, mas não o tempo todo.

Várias ferramentas online como Ahrefs ou MajesticSEO podem exibir esse tipo de informação para você. Você só precisa olhar para os backlinks classificados no status "Redirecionar".

Exemplo para Ahrefs:

No entanto, você precisa conhecer um bom profissional de SEO que não quer que as pessoas encontrem o redirecionamento 301 porque, na maioria dos casos, o URL redirecionado recebido no passado muito bons backlinks de bons locais de SEO (sites com alto PageRank, por exemplo).
É por isso que, em geral, para ocultar esses bons locais de SEO (e, portanto, talvez boas oportunidades para que todos obtenham backlinks muito bons), você não consegue encontrar o URL redirecionado com ferramentas online. De fato, o profissional bloqueou para o URL redirecionado todos os robôs (especialmente os de Ahrefs, MajesticSEO ...), exceto os do Google.
Como conseqüência, o redirecionamento 301 é poderoso para SEO e oculto para as pessoas.

PS: a camuflagem também pode ser aplicada pelo profissional para ocultar backlinks para o URL redirecionado dos visitantes. Portanto, esses bons lugares para SEO ficam ainda melhor escondidos.

Existem vários sites que informam todo tipo de informações sobre sites, como:

• Número de páginas no site
• Estimativas de tráfego para o site
• Outros sites hospedados no mesmo endereço IP (quase o que você deseja)
• Outros sites registrados para o mesmo proprietário (novamente, quase o que você deseja)

Não foi possível encontrar um que informa quais outros nomes de domínio redirecionam para um site. Provavelmente não seria muito difícil para um desses sites adicionar esse tipo de funcionalidade.

Se eu tentasse criar uma ferramenta para responder a essa pergunta, aqui está o que eu faria:

• Baixe a lista inteira de nomes de domínio que possuem entradas DNS. Isso por si só é um projeto. Você deve solicitar a cada registro para acessar ou pagar um corretor que tenha feito esse trabalho. Esta pergunta no stackoverflow possui respostas para ambas as abordagens
• Faça o download de uma página de cada um dos 150 milhões de nomes de domínio para ver se ele é redirecionado para outro site. Eu acho que você deve conseguir fazer cerca de 50 por segundo e o rastreamento levaria um pouco mais de um mês. Essa tarefa é fragmentável e, portanto, pode ser acelerada com a utilização de várias máquinas. Os custos de largura de banda e hospedagem deste rastreador podem acabar sendo consideráveis, a largura de banda de 50 sites por segundo provavelmente seria de cerca de 20mb / s, assumindo um download médio de 50 KB de pré-site.

Suspeito que isso seja mais eficaz usando a tag canônica entre domínios. O uso da tag canônica manteria o site não indexado ativo para que você pudesse continuar criando links que passam para o site de dinheiro (é difícil enviar uma solicitação de link para uma página que já foi removida).

Não tenho nenhuma maneira automatizada / pronta para detectar 301s. E não acredito que haja maneiras de ter certeza de que você as encontrou todas. Algumas opções que podem ajudá-lo a encontrar algumas são:

Pesquisa de DNS para ver se você pode encontrar outros domínios pelo mesmo proprietário. Isso lhe dará um bom ponto de partida, se você encontrar um. Existem alguns sites usados ​​para tentar encontrar redes de sites ( spyonweb.comacredito que seja um deles): eles usam ID do AdSense, ID de afiliado, informações de DNS etc. Nesse caso, não acho que o proprietário deixaria alguma dessas pegadas, mas você nunca se sabe.

O rastreador da Web de código aberto deve poder ser ajustado para seguir apenas os links 301 e retornar resultados para o nome de domínio desejado.

Procure por vendedores de links no seu nicho. Provavelmente, isso está sendo feito com o objetivo de criar um buffer entre o site de dinheiro e possíveis links incorretos (é muito mais fácil desligar um único site redirecionado, é necessário que algumas centenas de webmasters removam os links do seu site, se você for penalizado ) Pode significar que eles estão participando de compras de links, usando algo como o Xenu no site dos vendedores aumentaria 301s.

inanchor:pesquise no Google. Se houver uma marca de identificação com boa classificação, você poderá encontrar alguns links que usam a marca no texto âncora, mas que vão para um domínio diferente (que, se possível, redireciona para o domínio desejado).

Se você encontrar 1 ou 2 sites usando esses métodos, provavelmente encontrará um padrão que pode ser usado para encontrar mais.

No entanto, tudo isso seria discutível se eles estivessem usando a tag canônica em vez da 301. Tenho certeza de que há algumas pesquisas criativas adicionais que você pode fazer, mas que devem dar um bom começo.

-Boa sorte