Enorme aumento no tráfego direto de uma cidade em particular

No mês passado, notei que as visitas diretas em nosso site aumentaram quase 150%, enquanto a taxa de rejeição também aumentou consideravelmente.

Depois de pesquisar mais, vejo que tivemos quase 2000 visitas diretas de uma cidade em Connecticut chamada Stamford, com uma taxa de rejeição de 100%!

Tenho procurado respostas, mas só consigo descobrir que isso pode estar relacionado à nossa ferramenta de monitoramento de tempo de atividade; Pingdom.

Alguém sabe / tem alguma experiência com esse tipo de problema, qualquer ajuda é apreciada

• Acabei de notar que estamos recebendo tráfego idêntico em uma cidade da Inglaterra e uma da Escócia ... Isso definitivamente me faz pensar que está relacionado à nossa ferramenta de monitoramento de tempo de atividade.

Determinar a causa de picos de tráfego localizados estranhos que não parecem ser de visitantes humanos exige paciência e trabalho de detetive, mas as etapas básicas são:

1. Descubra de onde ele vem usando as ferramentas disponíveis para você (veja abaixo).

2. Determine se é perigoso ou não, analisando as fontes da solicitação, a frequência, os cabeçalhos da solicitação e o efeito na sua rede e nos servidores.

3. Decida se deve bloqueá-lo apenas no Google Analytics apenas para impedir que apareça nas suas estatísticas (usando um filtro do Google Analytics), bloqueá-lo no servidor para impedir que ele chegue ao seu site no futuro (usando um firewall ou um serviço como Cloudflare ) ou para ignorá-lo completamente.

Não detalharei as implicações de segurança aqui, porque você parece mais preocupado com o efeito que isso está causando nos dados de análise. Aqui estão algumas observações sobre esse caso específico, com alguns indicadores para determinar a possível origem e filtrar o tráfego indesejado no Google Analytics:

Provavelmente não é Pingdom

É improvável que os picos do Google Analytics sejam visitas de Pingdom por dois motivos:

• As verificações de HTTP do Pingdom não analisam o JavaScript e , portanto, não acionam scripts incorporados do Google Analytics. (Verifiquei isso duas vezes com a equipe de suporte do Pingdom ontem, porque eu também uso o Pingdom e fiquei curioso. Aqui está uma citação direta do e-mail de suporte: "Como nossa verificação HTTP não executa nenhum código JavaScript, o Google Analytics não terá nenhum registros de nossas visitas feitas por nossos servidores de análise ao seu site. " )

• No momento, o Pingdom não possui servidores em Edimburgo. Eles listam todos os servidores Probe com o endereço IP e o local em uma página no painel de controle (o link chamado "Probe servers" no canto inferior direito de todas as páginas de administração do Pingdom quando você está conectado). Os únicos dois listados no Reino Unido atualmente estão em Manchester e Londres.

Mas você não precisa aceitar minha palavra. Se os picos estiverem em andamento e você quiser confirmar que Pingdom não é a causa de visitas repentinas e picos na taxa de rejeição, você pode:

1. Pause as solicitações do Pingdom no seu site e veja se os hits dessas áreas desaparecem. (Eu suspeito que não fará diferença.)

   - ou -

2. Configure uma página em example.com/pingdom/any-url-you-like, aponte suas solicitações de Pingdom para essa página em vez de sua página inicial e exclua o /pingdom/subdiretório dos resultados do Google Analytics (a) removendo o código de acompanhamento do Analytics nessa página ou (b) usando um filtro para excluir o página no Google Analytics se você não conseguir remover o código de acompanhamento por página (por exemplo, se você estiver usando um CMS que inclui o código em todas as páginas e não tiver acesso suficiente para alterar esse comportamento).

Como filtrar solicitações com o Google Analytics

Isso só é necessário se você suspeitar que Pingdom faz parse JavaScript, e não há nenhuma indicação de que ele faz, mas filtrar visitas de Pingdom como esta é uma maneira de verificar se você quer tranquilizar-se. Também é útil aprender como fazer isso, para que você possa filtrar outros tipos de visitas no futuro, se precisar:

1. Faça login no Google Analytics e clique no link "Admin" (canto superior direito, ao lado de "Ajuda")

2. Clique no nome do domínio ou no site do perfil que você deseja filtrar. (por exemplo example.com)

3. Clique na aba "filtros".

4. Clique em "+ Novo filtro".

5. Atribua um nome ao filtro e deixe "Filtro predefinido" selecionado.

6. Selecione "Excluir ... tráfego para os subdiretórios ... iguais a" nas caixas suspensas.

7. Digite /pingdom/no campo Subdiretório e deixe "Diferenciar maiúsculas de minúsculas" definido como "Não".

Este deve ser o resultado quando você terminar:

Salve essas configurações e, em seguida, refaça suas verificações de Pingdom example.com/pingdom/any-page-or-url-that-existse o Google Analytics filtrará as visitas a esse URL. (Você ainda receberá relatórios básicos de tempo de atividade do servidor dessa maneira, mesmo que o Pingdom não esteja mais apontando para sua página inicial.)

Se não é Pingdom, de onde vêm esses hits?

Você pode tentar descobrir de várias maneiras:

1. Veja qual rede está enviando o tráfego mais devolvido. Para fazer isso com o Google Analytics, consulte a seção Relatórios padrão do seu site e escolha Público-alvo> Tecnologia> Rede no lado esquerdo. Por fim, com o modo de gráfico de pizza selecionado (o padrão), escolha "Contribuição para o total ... devolve" no menu suspenso à direita:

Você verá uma lista de ISPs ou provedores de rede cujos usuários contribuíram para sua taxa de rejeição. Às vezes, será um ISP pequeno e específico que você pode rastrear para uma área ou empresa. Armado com o nome do provedor de rede que envia o tráfego de rejeição, você pode optar por filtrar essa rede específica do Google Analytics, conforme descrito acima, mas filtrando por rede e não por subdomínio.

Outras vezes, o principal provedor listado será um grande fornecedor doméstico que poderá ter milhões de clientes, e você não será mais sábio. Nesse momento, o Google Analytics não pode ajudá-lo a detalhar e determinar quais clientes desse fornecedor estão enviando tráfego repetido repetidamente (porque o Google Analytics não inclui mais informações de endereço IP ou outros dados de identificação). Para obter esse tipo de dados, você pode usar outro provedor de estatísticas que registra endereços IP (como Clicky ) ou pode analisar os logs do servidor, que também registram o acesso por endereço IP:

2. Examine os logs de acesso do servidor da Web para explorar as visitas de rastreadores conhecidos e procure o acesso repetido do mesmo endereço IP. Uma ferramenta de estatísticas baseada na Web, como o AWStats, pode ajudá-lo com isso. É bastante popular entre certos hosts da web e eles já podem ter instalado para você.

Aqui estão alguns exemplos de saída do AWStats . As duas seções relevantes para você são "Hosts" e "Robots / Spider visitors".

A seção hosts pode fornecer dicas sobre quais endereços IP estavam acessando o site para causar os retornos (e você pode filtrar esses endereços IP no Google Analytics). A seção robots / spider pode dar dicas sobre rastreadores ou scripts automatizados que acessam seu site que podem estar usando JavaScript. Se você não tiver certeza de como ler ou acessar os logs do servidor, peça ajuda ao seu provedor de hospedagem.

Tem um endereço IP? Descubra quem está usando.

Se você conseguir obter um endereço IP na seção Hosts no AWStats ou em outro local, poderá fazer uma pesquisa reversa de IP para determinar quem pode estar usando.

A pesquisa reversa de IP geralmente fornece o nome de um provedor de hospedagem ao qual você pode denunciar abuso se acreditar que as solicitações são maliciosas. Ou pode fornecer o nome de um ISP doméstico cujo cliente está usando automação com script na tentativa de explorar seu site. Normalmente, você pode enviar relatórios de abuso para abuse@example.com, onde example.comé o nome do provedor de hospedagem ou ISP. E, às vezes, oferecerá o nome de uma empresa específica com a qual você pode entrar em contato para obter mais informações.

Se é ou não o Pingdom, depende das configurações definidas para o serviço pingdom.

Se estiver configurado para fazer solicitações HTTP, então sim, provavelmente é Pingdom. Se não estiver usando solicitações http (apenas ping ou outros serviços), não será o Pingdom, mas eu suponho que você esteja usando solicitações http.

Eu não uso pingdom, então não sei se você tem controle sobre a frequência de seus testes. Se você pode então ótimo. Caso contrário, você pode mudar para usar apenas testes de ping, mas isso não garante que o site esteja ativo - apenas que o servidor está ativo.

Se você não pode diminuir a frequência dos testes de pingdom e a quantidade de tráfego que ele está gerando é problemática, será necessário abandoná-lo. No entanto, 2000 solicitações por mês provavelmente não serão um grande problema - elas apenas atrapalharão as informações analíticas do seu site.

Você pode tentar contornar isso isolando as solicitações Pingdom e procurando um padrão. Então, se você tiver scripts analíticos personalizados, poderá detectar o padrão e remover os endereços IP que aderem ao padrão dos seus resultados analíticos. No entanto, você pode decidir que isso não vale a pena o aborrecimento e tenha em mente a quantidade de hits falsos bieng gerados pelo Pingdom todos os meses.

Eu espero que isso ajude.

Há um bom artigo sobre como identificar e filtrar o tráfego de bot no seu site. Pingdom incluído. Aqui está o artigo http://www.blastam.com/blog/index.php/2012/06/block-web-monitoring-bots-in -google-analytics / muito tempo para copiar aqui

Você sabia que, se você estiver usando um serviço como o Keynote para monitorar o desempenho do site, isso está afetando suas métricas da web? Serviços como Keynote, Gomez, AlertSite, Pingdom e muitos outros usam um navegador da Web real para visitar seu site repetidamente ao longo do dia, a fim de medir o desempenho em tempo de carregamento. Eles estão carregando seu site em vários locais do mundo com navegadores reais que executam o javascript de rastreamento do Google Analytics.

Provavelmente é o Site Confidence, também conhecido como NCC Group.

Para o nosso site, um pouco de investigação com os filtros GA revelou que todos os acertos misteriosos de Edimburgo e Stamford eram de um PC com Windows 7, IE8, mas com resolução de 800x600, que parecia um pouco suspeito.

Verificamos em nossos logs por quaisquer ocorrências com o IE 8 e encontramos rapidamente um padrão de ocorrências a cada 5 minutos; DNS reverso nesses IPs e eles são do Site Confidence - o que faz muito sentido, pois pedimos a eles para fazer isso.

Provavelmente isso é desnecessário, mas é MUITO provável que seja uma atividade automatizada não detectada. Qualquer atividade que incline muito (100% de taxa de rejeição) provavelmente será um comportamento de bot que, de alguma forma, passou pelos filtros de bot do GA.

Se puder, corte essas visitas por navegador / agente; se todos eles são um único agente (o que eu acho), isso reforçaria as chances de atividade automatizada.