O agente do usuário em qualquer navegador comum contém 'bot' ou 'crawl'?

O agente do usuário em qualquer navegador comum contém 'bot' ou 'crawl'?

Verifico o agente do usuário no meu site para ver se é proveniente de um bot ou não. Se for, posso fazer algumas pequenas otimizações, pois elas não fazem login. (Eu não mudo o conteúdo)

Depois de adicionar cheques para 30-40 + bots, estou cansado de adicioná-los. Então, eu queria saber se verificar se apenas contém 'bot' ou 'crawl'. Eu sei que não receberá todos os bots, mas receberia muitos deles. Mas se isso puder causar algum falso positivo, isso prejudicaria totalmente a capacidade de adicionar ao carrinho, fazer um pedido e fazer login.

De acordo com a lista em http://www.useragentstring.com/pages/useragentstring.php?typ=Browser com mais de 9000 seqüências de agentes de usuários de vários navegadores:

• 0 sequências de agentes do usuário dos navegadores contêm a palavra "bot"
• 2 sequências de agentes do usuário dos navegadores contêm a palavra "rastrear"
• 0 strings de agentes do usuário de navegadores contém a palavra "spider"

(O 2 que contém "rastreamento" é o seguinte: "Mozilla / 4.0 (compatível; MSIE 5.01; Windows NT 5.0; YComp 5.0.2.6; MSIECrawler)" e "Mozilla / 4.0 (compatível; MSIE 5.01; Windows NT 5.0; MSIECrawler ) "Eu acho que é seguro não considerar isso.)

De acordo com a lista em http://www.useragentstring.com/pages/useragentstring.php?typ=Crawler com 442 strings de agente de usuário listadas como bots:

• 208 seqüências de bots do agente do usuário contém a palavra "bot"
• 63 sequências de bots do agente do usuário contém a palavra "rastrear"
• 37 seqüências de bots de agente de usuário contém a palavra "aranha"
• 282 seqüências de bots de agentes de usuário contêm "bot", "crawl" ou "spider"

Minha conclusão: é seguro filtrar bots por sequências de agentes do usuário com as palavras "bot", "crawl" e "spider". Não é à prova de balas, mas é definitivamente melhor que nada.

Nota: Ao pesquisar as palavras-chave, usei a pesquisa sem distinção entre maiúsculas e minúsculas.

Uma solução melhor da IMO seria detectar se o usuário está conectado. Se não estiver, mostre a página padrão (isso pode ser armazenado em cache). Qualquer web spider nunca será logado, mas se você estiver otimizando para eles, por que não novos usuários para o seu site?

Esta pergunta do Stack Overflow deve ajudar: " Existe um banco de dados de agente de usuário online? "

Você pode digitalizar rapidamente o banco de dados e descobrir (ou importá-lo).