Perguntas com a marcação «web-crawler»

Quero baixar HTMLs (exemplo: http://www.brpreiss.com/books/opus6/ ) e associá- lo a um HTML ou outro formato que eu possa usar no leitor de e-books. Os sites com livros gratuitos não têm paginação padrão, não são blogs ou fóruns; portanto, não sabem como rastrear e mesclar automaticamente.

23 ebook  web-crawler 

Por que @ às vezes nas páginas da Web é escrito como [at]? Tem algum motivo específico?

15 email  html  web  spam-prevention  web-crawler 

Essencialmente, quero rastrear um site inteiro com o Wget, mas preciso que NUNCA baixe outros ativos (por exemplo, imagens, CSS, JS, etc.). Eu só quero os arquivos HTML. As pesquisas no Google são completamente inúteis. Aqui está um comando que eu tentei: wget --limit-rate=200k --no-clobber --convert-links --random-wait -r -E -e …

14 wget  web-crawler 

Como você instrui o wget a rastrear recursivamente um site e fazer o download apenas de certos tipos de imagens? Tentei usar isso para rastrear um site e baixar apenas imagens JPEG: wget --no-parent --wait=10 --limit-rate=100K --recursive --accept=jpg,jpeg --no-directories http://somedomain/images/page1.html No entanto, embora o page1.html contenha centenas de links para …

13 linux  bash  script  web-crawler  wget 

Recentemente eu estava experimentando com a cURL, e achei muito possível com isso. Eu construí um pequeno script que rastreia um site musical, que toca músicas online. No caminho do meu experimento, descobri que é possível rastrear a fonte da música também (esse site não fornece download). Eu só o …

11 php  curl  screen-scraping  web-crawler 

Eu preciso ter acesso a todos os links como: http://www.thewebsitename.com/random_alphanumeric_code1.asp http://www.thewebsitename.com/random_alphanumeric_code2.asp etc.para um determinado site: http://www.thewebsitename.com (Obviamente, nenhum link para esses links está disponível em http://www.thewebsitename.com ) O site não restringe o acesso aos links que eu quero, pois eles publicam anúncios na Internet com links para esses links. Eu …

1 internet  http  web-crawler