Qual é a melhor maneira de excluir bots da contagem de visualizações?

Meu site está contando visualizações de visitantes em determinadas páginas. Percebi que o Google e outros Bots estão "clicando" no meu site como loucos e algumas páginas têm contagens de visualizações irrealistas (em comparação com as produzidas por humanos).

Estou pedindo as melhores práticas para excluir esses bots da minha contagem de visualizações. Obviamente, um simples "agente do usuário" contém "bot" não fará isso.

Não acho que exista uma solução à prova de balas nem preciso de uma.

Nota: Estou usando PHP + MySQL.

Fico feliz que você saiba que não haverá uma maneira à prova de balas para fazer isso. Isso significa que sua perspectiva é pelo menos realista.

Como o JavaScript não é uma opção, eu diria que você fica com:

• Verifique o user agent para a palavra "bot" nele. Isso vai pegar a maioria deles.

• Compile uma lista de bots conhecidos e filtre-os com base em algum tipo de identificador exclusivo, provavelmente o agente do usuário.

• Coloque um link oculto no rodapé do site que direcione para uma página que coleta agentes do usuário e / ou endereços IP. Os usuários não verão isso, mas os robôs verão. Portanto, quem visitar essa página será um bot. Registre-os e bloqueie-os de suas estatísticas.

Existem três maneiras bastante simples:

1. Use o Google Analytics, que processará e manipulará todos os dados para você e apresentará estatísticas detalhadas para os visitantes e como eles chegaram ao seu site. Esta é de longe a solução mais fácil.
2. Use Javascript para fazer a contagem. Quando a página for carregada, gere uma solicitação AJAX para o seu script de contagem. Robôs e aranhas não executam Javascript.
3. Detectar "bot" na string do agente do usuário é realmente bastante confiável. Como alternativa, você pode usar apenas os bots conhecidos, como Googlebot, Yahoo, MSNbot etc. A verificação desses três deve cobrir 99% do tráfego de bot. Esta página tem outras, mas parece bastante desatualizada.

UPDATE: Googlebot e alguns dos principais bots não executar JavaScript nestes dias. Portanto, o uso da opção nº 2 não é mais viável. No entanto, isso significa que usá-lo em conjunto com o nº 3 deve ser bastante confiável, pois você pode excluir facilmente a maioria dos bots usando JS e, no lado do servidor, excluir os principais bots, como o Googlebot, que executam JS.

Também conforme mencionado nos comentários, você pode tentar usar a API do Google Analytics para exibir visualizações para cada página.

Se você usar o Javascript para contar visualizações, a maioria dos bots não executará e, portanto, não será incluído nas contagens de visualizações. Esta resposta pode estar próxima do que você deseja /programming/1973448/how-can-i-count-a-page-views

Minha abordagem envolve duas passagens:

1. Filtre apenas navegadores e consoles da web combinando o início da cadeia de caracteres do agente do usuário Mozilla|Opera|PSP|Bunjalloo|wii. Graças ao agente do usuário que falsifica, essa verificação detecta quase todos os navegadores
2. Excluir bots por strings de parada comuns bot|crawl|slurp|spider

Portanto, se o primeiro passo for passado, assumimos que é um navegador e que existe um visitante real por trás dele. Como eu descobri, alguns bots fingem ser Mozillacompatíveis e iniciam sua string de agente de usuário com ele. É por isso que o segundo passe pode ser útil e eliminá-los.

function isBrowser () {

    return preg_match( '/^(Mozilla|Opera|PSP|Bunjalloo|wii)/i', $_SERVER['HTTP_USER_AGENT'] ) && !preg_match( '/bot|crawl|slurp|spider/i', $_SERVER['HTTP_USER_AGENT'] );
}

Eu uso apenas a exclusão de análise de agente de usuário simples. Ele elimina 99% dos bots que entram nas minhas páginas.

SELECT * FROM `live_visitors` where (
lower(agent) != '%bot%' and
lower(agent) != '%slurp%' and
lower(agent) != '%spider%' and
lower(agent) != '%crawl%' and
lower(agent) != '%archiver%' and
lower(agent) != '%facebook%')

Você pode usar uma imagem como um contador. Nesse caso, ela não conta bots e o nome da página é passado como uma consulta com o nome da imagem.

Estou usando isso no img.php, que atualiza a exibição da página no banco de dados:

<?php
$xnt = $_GET["ID"]; if (isset($xnt) && is_numeric($xnt)) {
$DBServer = "localhost"; $DBUser = "xxx"; $DBPass = "xxx"; $DBaze = "xxx";
$conn = mysqli_connect($DBServer, $DBUser, $DBPass, $DBaze); 
mysqli_query($conn, "UPDATE stats SET stats_vz=stats_vz+1 WHERE stats_id=".$xnt);
mysqli_close($conn);}
$im = @imagecreatetruecolor(1, 1); imagesavealpha($im, true); imagealphablending($im, false); $white = imagecolorallocatealpha($im, 255, 255, 255, 127); imagefill($im, 0, 0, $white);
header("Content-type: image/png"); imagepng($im); imagedestroy($im);