Perguntas com a marcação «wget»

Estou tentando usar o wget para criar um espelho local de um site. Mas estou descobrindo que não estou recebendo todas as páginas vinculadas. Aqui está o site http://web.archive.org/web/20110722080716/http://cst-www.nrl.navy.mil/lattice/ Não quero todas as páginas que começam com web.archive.org, mas quero todas as páginas que começam com http://web.archive.org/web/20110722080716/http://cst-www.nrl.navy.mil/lattice/. Quando uso wget …

12 linux  wget  httrack  webarchive 

Sei que você pode baixar páginas da Web recursivamente usando wget, mas é possível executar uma execução a seco? Para que você pudesse executar um teste para ver quanto seria baixado se realmente o fizesse? Pensando em páginas que possuem muitos links para arquivos de mídia como, por exemplo, imagens, …

12 wget 

Eu tenho um arquivo muito grande hospedado em cinco servidores diferentes. Eu gostaria de poder baixar partes diferentes do arquivo de cada servidor e concatenar as partes posteriormente, para produzir o arquivo original. Existe alguma maneira de fazer isso com o curl / wget ou qualquer outra ferramenta de linha …

12 macos  download  wget  curl 

O que quero dizer é baixar cada página disponível da Wayback Machine por um período e intervalo de tempo especificados. Por exemplo, quero fazer o download de cada página disponível de cada dia no site nature.com de janeiro de 2012 a dezembro de 2012. (Não é exatamente o que eu …

11 download  wget  webpage 

Se executado sem parâmetros, minhas wgetimpressões: D:\>wget SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc syswgetrc = c:/progra~1/wget/etc/wgetrc D:\Apps\Util\wget: missing URL Usage: D:\Apps\Util\wget [OPTION]... [URL]... Try `D:\Apps\Util\wget --help' for more options. Isso provavelmente significa que é olhares para o arquivo wgetrcno c:/progra~1/wget/etc/wgetrc. Infelizmente, este local não está disponível para programas não raiz. Eu estava pensando …

11 proxy  wget 

Estou tentando fazer o download de um URL semelhante http://www.somesite.com/restaurants.html#photo=22x00085. Coloquei-o entre aspas simples, mas ele só baixa http://www.somesite.com/restaurants.html, que não é a página correta. Há uma solução?

11 wget  url 

Estou tentando baixar dois sites para inclusão em um CD: http://boinc.berkeley.edu/trac/wiki http://www.boinc-wiki.info O problema que estou tendo é que esses dois são wikis. Então, ao baixar com, por exemplo: wget -r -k -np -nv -R jpg,jpeg,gif,png,tif http://www.boinc-wiki.info/ Eu recebo muitos arquivos porque ele também segue links como ...? Action = …

11 linux  unix  wget 

Como posso escrever um script bash que faça o seguinte: URL = "example.com/imageID=" while (1..100) wget URL + $i #it will wget example.com/imageID=1, then 2, then 3, etc done Então, eu tenho um número de loops para executar, uma URL que termina com um número do loop. Eu preciso de …

11 bash  shell-script  wget 

Eu tenho um URL de página html e quero cumprimentá-lo. Como posso fazer isso wget someArgs | grep keyword? Minha primeira idéia foi wget -q -O - url | grep keyword, mas a saída do wget ignora o grep e surge no terminal em sua forma original.

11 grep  wget 

Finja que queria que uma cópia simples da página fosse baixada para o meu HD para manutenção permanente. Não estou procurando uma obtenção recursiva profunda, apenas uma única página, mas também quaisquer recursos carregados por essa página para serem baixados. Exemplo: https://www.tumblr.com/ Espero: O index.html Qualquer imagem carregada Qualquer arquivo …

11 javascript  html  css  images  wget 

Ok, eu desisto. Como limite o tamanho dos arquivos baixados, como, por exemplo, não quero arquivos com mais de 2 MB?

11 download  wget 

O Aria2 é um ótimo wgetsubstituto, com muitos recursos, como multi-threading, download dividido, currículo para download, etc. Mas ter todos esses recursos e opções pode dificultar a execução de alguns comandos específicos. Quero baixar esta pasta inteira do XOWA daqui com 10 downloads simultâneos e o arquivo dividido em 4 …

11 linux  wget  aria2 

Quero baixar um arquivo com o Wget , mas, de acordo com a filosofia usual do UNIX, não quero que ele produza nada se o download for bem-sucedido. No entanto, se o download falhar, quero uma mensagem de erro. A -qopção suprime toda a saída, incluindo mensagens de erro. Se …

10 wget 

Eu sou um usuário do Linux Mint (Lisa) e do Tor Bundle tentando usar o wget sobre o Tor. Depois de seguir as instruções que encontrei aqui , tudo o que recebo ao executar o wget é um arquivo de saída dizendo "514 Autenticação necessária". Aqui está o que eu …

10 linux  proxy  wget  linux-mint  tor 

Especificamente, eu gostaria de poder baixar determinadas páginas do meu perfil de usuário nos vários sites do Stack Exchange. Gostaria, no entanto, de fazer isso automaticamente (usando um crontrabalho), na linha de comando e em um formato analisável. Eu prefiro usar o Linux para isso, mas poderia ter acesso a …

10 linux  command-line  wget  curl  openid