Perguntas com a marcação «wget»

Encontrei apenas puf (Buscador de URLs paralelo), mas não consegui ler URLs de um arquivo; algo como puf < urls.txt também não funciona. O sistema operacional instalado no servidor é o Ubuntu.

14 ubuntu  wget  parallelism 

I sshed para o meu servidor e correu wget -r -np zzz.aaa/bbb/ccce começou a trabalhar. Em seguida, minha conexão com a Internet (em minha casa) foi interrompida e fiquei preocupado ao supor que ela wgethavia sido interrompida hupporque a sshconexão foi perdida e, portanto, o terminal morreu. Mas então eu …

13 ssh  terminal  wget  signals 

Gostaria de rastrear links em www.website.com/XYZ e fazer o download apenas dos links em www.website.com/ABC. Estou usando o seguinte comando wget para obter os arquivos que desejo: wget -I ABC -r -e robots=off --wait 0.25 http://www.website.com/XYZ Isso funciona perfeitamente quando eu uso o wget 1.13.4. Mas o problema é que …

13 command-line  wget 

Quero usar wget(de um script php) para baixar arquivos de imagem, mas não quero baixar arquivos com um determinado tamanho. Posso limitar o tamanho do arquivo wget? Se não, qual é a melhor maneira?

13 files  wget  size 

Estou escrevendo um script que envolve o download e a manipulação de um arquivo, e quero garantir que o arquivo não esteja incompleto (devido, por exemplo, a uma queda de conexão) antes de trabalhar nele.

13 files  wget  curl  download  corruption 

Estou usando o wget para baixar uma página estática de html. O validador W3C informa que a página está codificada em UTF-8. No entanto, quando catado o arquivo após o download, recebo um monte de bobagens binárias. Estou no Ubuntu e pensei que a codificação padrão era UTF-8? É o …

12 wget  character-encoding  gzip  http 

Estou baixando dados espalhados entre vários arquivos que não mudam uma vez publicados. Portanto, --timestampingnão é bom o suficiente, porque verifica constantemente qualquer recurso alterado, o que, no meu caso, é completamente inútil. --no-clobbercaberia perfeitamente. Infelizmente, ele não funciona --convert-links por algum motivo. Ambos --no-clobber e --convert-links foram especificados, apenas …

12 wget  download 

Por exemplo, eu tenho um link http://www.abc.com/123/def/ghi/jkl.mno. Quero fazer o download usando wgetor curle obter o nome do arquivo de saída como def_ghi_jkl.mno, onde a parte def_ghié retirada do link. Vou colocar esse wgetcomando em um script para baixar vários arquivos, para que ele não possa fornecer explicitamente o nome …

12 filenames  wget  curl 

Eu tenho um site em um servidor que é basicamente um monte de páginas HTML, imagens e sons. Perdi minha senha para esse servidor e preciso pegar tudo o que está armazenado lá. Posso ir página por página e salvar tudo, mas o site tem mais de 100 páginas. Estou …

12 wget 

Quero simplesmente poder explorar um sistema de arquivos dropbox, sem muita carga adicional na CPU, memória, armazenamento (ou seja, sem salvar localmente as cópias dos arquivos remotos). Parece que o cliente oficial consome muitos recursos (e faria operações desnecessárias como a sincronização) - http://www.lowendtalk.com/discussion/3179/dropbox-memory-usage-on-linux . Um pode simplesmente montá-lo (por …

12 wget  fuse  dropbox  hosting-services  protocols 

Se você usar a expansão entre chaves wget, poderá buscar imagens numeradas em seqüência com facilidade: $ wget 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg' Ele busca os 10 primeiros arquivos numerados 90.jpgpara 99.jpgficarem bem, mas 100.jpgretorna um erro 404: Arquivo não encontrado (tenho apenas 100 imagens armazenadas no servidor). Esses arquivos inexistentes se tornam mais …

12 bash  shell-script  wget 

Eu estou correndo wgetassim: wget --mirror --adjust-extension --convert-links --no-cookies http://tshepang.net -o log-main Recebo várias dessas mensagens: Last-modified header missing -- time-stamps turned off. Suponho que isso significa que as páginas continuam sendo baixadas novamente, mesmo que eu as tenha localmente. NOTA : Quero isso para não precisar baixar novamente os …

12 wget  web 

A wgetpágina do manual afirma isso, na seção para o --random-waitparâmetro: Some web sites may perform log analysis to identify retrieval programs such as Wget by looking for statistically significant similarities in the time between requests. [...] A 2001 article in a publication devoted to development on a popular consumer …

11 wget  man  documentation 

Estou chamando um URL com wget: /usr/bin/wget --read-timeout=7200 https://site_url/s O Wget executa uma solicitação GET a cada 15 minutos nesse caso, apesar do tempo limite estar definido, por que isso acontece? A chamada deve ser feita apenas uma vez, como posso configurar o wget para NÃO tentar novamente? Eu sei …

11 linux  rhel  wget 

O wget é uma ferramenta muito útil para baixar material na Internet rapidamente, mas posso usá-lo para baixar sites de hospedagem, como FreakShare, IFile.it Depositfiles, Uploaded, Rapidshare? Se sim, como posso fazer isso?

11 wget  download  hosting-services