Bot de spam constantemente acessando nosso site 800-1.000 vezes por dia. Causando perda nas vendas

Nos últimos 5 meses, nosso site recebeu hits desses 4 sites abaixo;

sheratonbd.com
newsheraton.com
newsheration.com
newsheratonltd.com

Normalmente, o URL exato de onde eles vêm se parece com isso;

http://www.newsheraton.com/ClickEarnArea.aspx?loginsession_expiredlogin=85

O bot de spam vai para a nossa página inicial e fica lá por cerca de 1 minuto e depois existe. Felizmente, temos alguns servidores robustos, por isso nem chegamos nem perto de sobrecarregar nossos servidores. No mês passado, comecei a bloquear os endereços IP dos bots de spam, mas eles parecem continuar recebendo novos todos os dias. Até agora, bloquei mais de 200 endereços IP, abaixo estão alguns dos que bloquei. Todos eles vêm do Bangladesh.

58.97.238.214
58.97.149.132
180.234.109.108
180.149.31.221
117.18.231.5
117.18.231.12

Como isso ocorre nos últimos 5 meses, o tráfego real do site começou a diminuir e todos os dias nossos pedidos ficam cada vez menores. Além disso, como esses robôs de spam simplesmente acessam nossa página inicial e, em seguida, deixam nossa taxa de rejeição nas análises disparada.

Minhas perguntas são;

É possível que esses robôs de spam estejam afetando nosso SEO? 60% de nossos pedidos vêm de pesquisas naturais e, desde que tudo começou, os pedidos vêm caindo lentamente.

Qual seria o motivo de alguém querer desperdiçar recursos ao fazer isso em nosso site? Os IPs não são gratuitos e nem os nomes de domínio. Qual seria o objetivo de fazer isso conosco? Temos o google adwords, mas não anunciamos em redes estendidas nem anunciamos no Bangladesh, pois não enviamos para lá, para que eles não estejam lucrando com o adsense.

Alguém já experimentou algo semelhante a isso? O que você fez e qual foi o resultado final?

Engraçado que isso deveria surgir, eu estava lidando com um problema semelhante no trabalho hoje! O @HeatherWalters cobriu a maioria das coisas boas, mas há algumas coisas a acrescentar.

Você pode bloquear referenciadores por domínio usando o seguinte código htaccess: -

RewriteEngine on
# Options +FollowSymlinks
RewriteCond %{HTTP_REFERER} spammer-one\.com [NC,OR]
RewriteCond %{HTTP_REFERER} spammer-two\.com
RewriteCond %{HTTP_REFERER} spammer-three\.com
RewriteRule .* - [F]

Isso os redireciona para uma resposta 403 proibida, que eu acho que é a maneira mais eficiente de lidar com o problema em termos de carga do servidor, pois é um cabeçalho relativamente pequeno.

Existem algumas idéias interessantes sobre o bloqueio de palavras-chave via httpd ou o uso de mod_security , que podem valer a pena investigar.

@LazyOne'sA resposta à minha pergunta sobre a maneira mais eficiente de fazer isso indica que httpd.confseria uma opção melhor do .htaccessque seria carregada antes do mod_rewrite (postarei o código assim que tiver tempo para testar isso).

Curiosamente, ele está causando problemas no ranking das SERPs, só vi dois sites com um problema tão sério quanto o seu e ambos relataram perda de tráfego de pesquisa orgânica, mas não encontrei relatórios semelhantes online ou qualquer coisa do Google que apóie essa noção.

@DisgruntledGoatindica em seu comentário abaixo que a taxa de rejeição no Google Analytics não causaria perda de SERPs por si só. Mas postar logs de referência pode, pois resultaria em links para sites de spam do seu domínio.

Você pode filtrar os resultados de spam do seu relatório de análise. O BusinessHut possui um bom tutorial que sugere o uso de várias versões do seguinte filtro: -

Filter Type: Custom > EXCLUDE 

Filter Field: Campaign Source Filter

Pattern: golbnet 

Case Sensitive: No

Isso eliminará qualquer referenciador com o texto "golbnet" em qualquer lugar do URL de referência. Para excluir outros referenciadores, como forexmarket, você pode criar outro filtro, OU você pode simplesmente adicionar um "canal" que atua como um operador "OU". (por exemplo. Padrão de filtro: golbnet | forexmarket | qualquer outra coisa) * Você pode obter o pipe pressionando Shift e Backspace.

Ele também observa, como a @Heather faz que você sempre deve manter um perfil não filtrado.

Você já considerou a possibilidade de eles estarem visitando seu site, esperando que você pesquise quem eles são, seguindo o link (para que você acabe visitando os sites com spam ......... o SEO mais blackhat do blackhat)? Você acessou essas informações nos hits do site apenas pelo GA ou examinou os logs de tráfego do site? Talvez eles não estejam visitando seu site, mas se conectando à sua conta do Google Analytics e injetando seus próprios "hits" com um software de spam especial, na esperança de que você dê uma olhada nos links deles (e o efeito colateral é que todos os a taxa de rejeição de skyrocketeing está afetando a classificação do seu mecanismo de pesquisa e, portanto, o tráfego real). Consulte este link: spam de referência do Google Analytics e não deixe de ler a seção de comentários.

Você pode filtrar os resultados desses relatórios de análise criando um perfil duplicado e adicionando um filtro a ele, mas não tenho certeza se o Google ainda os 'vê' como hits. Supostamente, o spam de referência não afeta o SEO, mas eu pessoalmente duvido que, se está fazendo com que sua taxa de rejeição ultrapasse o limite.

Eu tenho tentado rastrear este também. O que quer que estejam fazendo, eles parecem alternar domínios a cada duas semanas a um mês. Isso pode ser visto facilmente em nossas análises, filtrando o tráfego de Bangladesh (do qual obtemos muito pouco tráfego legítimo.)

No nosso caso, o tráfego não está afetando as vendas, mas é um par de pedidos de magnitude mais do que o OP está vendo.

Um pouco de pesquisa apareceu http://robotlancer.com/ , que se autodenomina "um software que ajuda os assinantes do Dolancer / Skylancer / Newsheraton / Googleaddclick / Visionaddworld / Makegem a clicar em seus anúncios automaticamente". Uma das capturas de tela mostra um script que está carregando e clicando nos anúncios. A partir de nossas análises, parece usar um agente de usuário aleatório e SO para cada carregamento, o que faz com que pareça tráfego humano.

Essa coisa toda definitivamente cheira a algum tipo de pagamento por clique, mas não consigo entender o que eles estão fazendo, pois não há como eles se beneficiarem ao clicar em nossos anúncios!

Você o caracteriza como um "bot de spam", mas os sintomas me parecem mais usuários humanos clicando em links para seu site em um dos sites "sheraton" listados. Aparentemente, você está recebendo hits repetidos de cada IP. Por que o humano faria isso? Provavelmente, o site promove a ideia de que o usuário pode ganhar dinheiro com isso (independentemente de ganhar ou não).

Por que um site como esse link para o seu site? Pode ser um erro, mas considere se esse site tem uma má reputação para os mecanismos de pesquisa. Em seguida, sua posição nas páginas de resultados de pesquisa pode ser afetada negativamente, diminuindo sua posição de aparência e, portanto, sua pesquisa orgânica. Um motivo pelo qual um site de link-clique pode vincular a você é obter um pagamento por esse efeito de alguém que o queira, por exemplo, um concorrente.