Estou tendo um problema com um determinado indivíduo que continua raspando meu site de maneira agressiva; desperdiçando largura de banda e recursos da CPU. Eu já implementei um sistema que rastreia meus logs de acesso ao servidor da web, adiciona cada novo IP a um banco de dados, acompanha o número de solicitações feitas a partir desse IP e, em seguida, se o mesmo IP ultrapassar um certo limite de solicitações dentro por um determinado período, é bloqueado via iptables. Pode parecer elaborado, mas até onde eu sei, não existe uma solução pré-fabricada projetada para limitar um determinado IP a uma certa quantidade de largura de banda / solicitações.
Isso funciona bem para a maioria dos rastreadores, mas um indivíduo extremamente persistente está obtendo um novo IP de seu pool de ISP toda vez que é bloqueado. Gostaria de bloquear completamente o ISP, mas não sei como fazê-lo.
Fazendo um whois em alguns IPs de amostra, posso ver que todos compartilham o mesmo "nome de rede", "mnt-by" e "origin / AS". Existe uma maneira de consultar o banco de dados ARIN / RIPE para todas as sub-redes usando o mesmo mnt-by / AS / netname? Caso contrário, de que outra forma eu poderia obter todos os IP pertencentes a este ISP?
Obrigado.