Perguntas com a marcação «web-crawlers»

Os logs de um site que eu gerencio mostram uma solicitação para um arquivo inexistente do Bingbot. Os detalhes da solicitação são Caminho: /trafficbasedsspsitemap.xml Useragent: "Mozilla / 5.0 (compatível; bingbot / 2.0; + http://www.bing.com/bingbot.htm )" Endereço IP: 65.55.213.244 (a pesquisa inversa resolve para msnbot-65-55-213-244.search.msn.com ) Por que o Bingbot está …

28 bing  logging  web-crawlers 

Em um servidor da web, agora tenho que me registrar novamente. Percebi que o robots.txt está vazio. Gostaria de saber se há uma diferença entre um robots.txt vazio e nenhum arquivo. Os rastreadores se comportam de maneira diferente nesses dois casos? Portanto, é seguro excluir um robots.txt vazio?

28 web-crawlers  robots.txt  webserver 

Como webmaster encarregado de um pequeno site que possui um fórum, recebo regularmente reclamações dos usuários de que tanto o mecanismo de pesquisa interno quanto as pesquisas externas (como ao usar o Google) são totalmente poluídas pelas assinaturas de meus usuários (eles estão usando muito tempo assinaturas e isso faz …

28 html  search-engines  forum  web-crawlers 

Tivemos alguns problemas sérios com a (incrivelmente) aranha mal escrita do Yahoo no passado e, como resultado, os bloqueamos. Marco Arment, do Tumblr, também compartilhou suas frustrações conosco em 31/8/2009, o que foi um fator para bloqueá-las. [O Yahoo's Spider] vem nos inundando com 70-200 solicitações / segundo desde cerca …

25 user-agent  bing  yahoo  web-crawlers 

Esta pergunta foi migrada do Stack Overflow porque pode ser respondida no Webmasters Stack Exchange. Migrou há 9 anos . O Google spider sabe como renderizar JavaScript, ou apenas HTML?

22 javascript  google  seo  web-crawlers 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico do Webmasters Stack Exchange. Fechado há 6 anos . Eu tenho um site legado bastante grande, com literalmente milhares de PDFs que às …

21 site-maintenance  web-crawlers  dead-links 

Muito foi feito com a frequência de rastreamento de aranhas do Baidu. É verdade: "Baiduspider rasteja como um louco". Eu experimentei esse fenômeno em sites com os quais trabalho. Em pelo menos um caso, descobri que o Baiduspider rastreia na mesma frequência do Googlebot, apesar do Baidu fornecer cerca de …

18 seo  search-engines  googlebot  web-crawlers 

Existe o Ask bot, que define este cabeçalho: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Considerando isso, tenho as seguintes perguntas: Se estou escrevendo um rastreador da Web chamado Goofy, qual agente de usuário devo usar? Qual é a diferença se eu colocar Mozilla/2.0ou Mozilla/5.0? Qualquer outra sugestão sobre como devo formatar meu …

18 user-agent  web-crawlers 

Eu tenho um subdiretório que gostaria de ocultar dos rastreadores da Web do mecanismo de pesquisa. Uma maneira de fazer isso é usar a robots.txtno diretório raiz do servidor (a maneira padrão). No entanto, qualquer pessoa que conheça o URL do site e tenha algum conhecimento básico da Web pode …

16 web-crawlers  robots.txt 

Sempre que crio um site responsivo, geralmente crio 2 menus: um oculto e usado para dispositivos móveis e o outro exibido como menu principal; depois, oculto para mostrar o menu móvel. Sempre que se trata de SEO e de aranhas que navegam no site, sou enganado por ter menus duplicados? …

15 seo  web-crawlers  googlebot  navigation 

A maioria das minhas visitas são de aranhas baidu. Eu não acho que isso ajuda os mecanismos de pesquisa, então estou pensando em como bloqueá-los. Isso poderia ser feito via iptables? Estou usando o nginx como meu servidor da web.

15 traffic  nginx  web-crawlers  baidu 

Lembro-me de um site fechado por uso indevido e me pergunto se os bots fazem parte dele. Se o bot está postando algo no meu site, como posso combatê-lo? Eu estava pensando em definir alguns cookies e alterá-los via JavaScript + timestamp e assinar (para que os cookies de ontem …

15 web-crawlers  spam-prevention  spam-bots 

Recentemente, registrei um novo domínio, apontei para o meu servidor existente e configurei uma página mínima dizendo "teste" e nada mais. Acabei de descobrir hoje à noite que a página já está indexada no Google! Não há links para o site (eu nem contei a ninguém sobre o domínio, pois …

13 search-engine-indexing  domain-registration  web-crawlers 

Meus registros estão cheios de visitantes de robôs, geralmente da Europa Oriental e da China. Os bots são identificados como Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou e assim por diante. Devo bloquear esses robôs do meu site e por quê? Quais têm um propósito legítimo em aumentar o tráfego para o …

12 seo  web-crawlers  user-agent 

Ao verificar meu log do apache, vejo que o baidu está rastreando meu site 10 vezes por dia nas últimas 2 semanas. Não é que eu me importe muito com isso, mas estou realmente curioso sobre o motivo de ele estar fazendo isso. É um site de página única muito …

12 seo  web-crawlers  baidu