Perguntas com a marcação «scraping»

Eu tenho uma lista de páginas da web que eu preciso raspar, analisar e depois armazenar os dados resultantes em um banco de dados. O total é de cerca de 5.000.000. Minha suposição atual de que a melhor maneira de abordar isso é implantar ~ 100 instâncias do EC2, fornecer …

8 amazon-ec2  scraping 

Temos um banco de dados pesquisável (DB), limitamos os resultados a 15 por página e apenas 100 resultados ainda levam as pessoas a tentar raspar o site. Estamos proibindo sites que atingem rápido o suficiente. Fiquei me perguntando se há mais alguma coisa que possamos fazer. Talvez o Flash renderize …

8 database  scraping