Perguntas com a marcação «user-agent»

Tivemos alguns problemas sérios com a (incrivelmente) aranha mal escrita do Yahoo no passado e, como resultado, os bloqueamos. Marco Arment, do Tumblr, também compartilhou suas frustrações conosco em 31/8/2009, o que foi um fator para bloqueá-las. [O Yahoo's Spider] vem nos inundando com 70-200 solicitações / segundo desde cerca …

25 user-agent  bing  yahoo  web-crawlers 

Existe o Ask bot, que define este cabeçalho: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Considerando isso, tenho as seguintes perguntas: Se estou escrevendo um rastreador da Web chamado Goofy, qual agente de usuário devo usar? Qual é a diferença se eu colocar Mozilla/2.0ou Mozilla/5.0? Qualquer outra sugestão sobre como devo formatar meu …

18 user-agent  web-crawlers 

Meus registros estão cheios de visitantes de robôs, geralmente da Europa Oriental e da China. Os bots são identificados como Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou e assim por diante. Devo bloquear esses robôs do meu site e por quê? Quais têm um propósito legítimo em aumentar o tráfego para o …

12 seo  web-crawlers  user-agent 

Como devo interpretar um User-agent vazio? Eu tenho algum código de análise personalizado e esse código precisa analisar apenas o tráfego humano. Eu tenho uma lista de agentes de usuários que denotam tráfego humano e tráfego de bot, mas o agente de usuário vazio está se mostrando problemático. E estou …

12 apache  analytics  http  user-agent  logging 

O agente do usuário em qualquer navegador comum contém 'bot' ou 'crawl'? Verifico o agente do usuário no meu site para ver se é proveniente de um bot ou não. Se for, posso fazer algumas pequenas otimizações, pois elas não fazem login. (Eu não mudo o conteúdo) Depois de adicionar …

11 user-agent 

As entradas do log de acesso do Apache no meu site geralmente são como esta: 207.46.13.174 - - [31 / Out / 2016: 10: 18: 55 +0100] "GET / contact HTTP / 1.1" 200 256 "-" "Mozilla / 5.0 (compatível; bingbot / 2.0; + http: // www .bing.com / bingbot.htm) …

10 joomla  user-agent  apache-log-files  botattack 

Os user-agents podem ser listados juntos, seguidos por suas regras comuns em um robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/

10 web-crawlers  robots.txt  user-agent 

Eu corro um pequeno rastreador da web e tive que decidir sobre qual agente de usuário usar para ele. As listas de agentes de rastreadores e a Wikipedia sugerem o seguinte formato: examplebot/1.2 (+http://www.example.com/bot.html) No entanto, alguns bots omitem o sinal de adição na frente do URL. E me pergunto …

10 web-crawlers  http  user-agent 

Eu tenho um site que, por motivos de regulamentação, pode não ser indexado ou pesquisado automaticamente. Isso significa que precisamos manter todos os robôs afastados e impedir que eles invadam o site. Obviamente, tivemos um arquivo robots.txt que não permite tudo desde o início. No entanto, observar o arquivo robots.txt …

9 apache  web-crawlers  user-agent 

(Pergunta de recompensa na parte inferior) Estou tendo um problema com um cliente acessando nosso site, e a causa principal é que o WAF (Web Application Firewall) não gosta da string do User-Agent: User-Agent: Mozilla/5.0 (X11; Linux i686; rv:34.0; C7QcSBPWTsrpX5YLvVZMqiujEZLWPtOYk3tDZ9WhW18=) Gecko/20100101 Firefox/34.0 Nesse caso, a cadeia codificada em base64 está …

8 user-agent 

O que você usa para detectar o celular do visitante, até o modelo, se possível? Atualmente, mantemos nosso próprio banco de dados, mas ele está realmente ficando para trás devido à falta de mão-de-obra para mantê-lo, por isso decidimos tentar uma solução de terceiros. Estes são meus candidatos, mas não …

8 mobile  user-agent  browser-detecting 

Eu tenho uma codificação especial que só funciona para navegadores HTML5 (coisas simples de geolocalização). Desejo redirecionar os usuários do iPhone e Android para a versão m.example.com do meu site. Como é a melhor maneira de fazer isso?

8 iphone  android  redirects  user-agent