Perguntas com a marcação «web-crawler»

Descobri que o McAfee SiteAdvisor relatou meu site como "pode ​​estar tendo problemas de segurança" . Preocupo-me pouco com o que a McAfee pensa do meu site (eu mesmo posso protegê-lo e, caso contrário, a McAfee definitivamente não é a empresa que eu pediria ajuda, muito obrigado). O que me …

30 web-crawler 

Como sites grandes (por exemplo, Wikipedia) lidam com bots que estão por trás de outro mascarador de IP? Por exemplo, na minha universidade, todo mundo pesquisa na Wikipedia, dando-lhe uma carga significativa. Mas, até onde eu sei, a Wikipedia só pode saber o IP do roteador da universidade; portanto, se …

12 web-crawler 

Estou tendo um problema com um determinado indivíduo que continua raspando meu site de maneira agressiva; desperdiçando largura de banda e recursos da CPU. Eu já implementei um sistema que rastreia meus logs de acesso ao servidor da web, adiciona cada novo IP a um banco de dados, acompanha o …

10 ip  isp  whois  web-crawler  ip-blocking 

Instalei o Apache há um tempo atrás e uma rápida olhada no meu access.log mostra que todos os tipos de IPs desconhecidos estão se conectando, principalmente com o código de status 403, 404, 400, 408. Não tenho idéia de como eles estão encontrando meu IP, porque eu o uso apenas …

8 apache-2.2  web-crawler 

O Yahoo AdCrawler está tentando novamente alguns URLs repetidamente. Os URLs recebem um código de resposta 302, então suponho que o Yahoo volte e tente novamente "mais tarde", mas "mais tarde" no meu livro não significa que sete URLs específicos sejam atingidos 3.000 vezes por dia cada. Os URLs são …

1 web-crawler