Perguntas com a marcação «wget»

Como eu baixaria uma lista de arquivos de um servidor de arquivos como este http://www.apache.org/dist/httpd/binaries/ ? Suponho que eu poderia usar o wget, mas ele tenta obter todos os links e o arquivo html também. Existe uma ferramenta melhor para fazer isso?

10 download  apache-http-server  wget 

Quero fazer a seguinte solicitação POST para o meu servidor usando o wget: email=abc@abc.com&file1=@FILE_HERE&file2=@FILE_HERE Na solicitação acima, existem três parâmetros POST chamados email, file1e file2onde emailcontém o email do usuário e file1, file2contém um arquivo. Como posso enviá-lo usando wget? Eu não quero usar curl.

10 linux  bash  http  wget 

Estou tentando espelhar um blog, por exemplo www.example.com, com wget. Eu uso o wget com as seguintes opções (variáveis ​​de shell são substituídas corretamente): wget -m -p -H -k -E -np \ -w 1 \ --random-wait \ --restrict-file-names=windows \ -P $folder \ -Q${quota}m \ -t 3 \ --referer=$url \ -U …

9 wget  mirroring 

O que eu quero fazer é baixar o repositório privado do GitHub, extraí-lo, remover o arquivo e copiar alguns diretórios que estão dentro do projeto baixado. Tentei usar, wgetmas não posso me autorizar: wget --header='Authorization: token MY_TOKEN_CREATED_ON_GITHUB' https://github.com/MY_USER/MY_REPO/archive/master.tar.gz -O - | tar xz Eu também tentei com cURL: curl -i …

9 download  wget  curl  github  headers 

Fechei acidentalmente o terminal enquanto executava um wgetprocesso para baixar um site. Faz dois dias desde que iniciei o processo wget, então não conheço o status do processo. Ontem o tráfego estava alto e hoje o tráfego está baixo. Parece que o processo do wget está concluído, mas top, ainda …

9 wget 

Executando o script com o Cygwin no Windows XP com Dual Core e Ram de 4 GB cat url_list.txt | xargs -P50 wget -i Estou tentando percorrer 4 GB de URL para baixar (aproximadamente 43 milhões) Funciona bem durante a primeira hora, depois o shell Bash e os downloads param …

8 wget  url  xargs  cat 

Ajudando um amigo com a conexão à Internet porque "algumas páginas não carregam", notei que o problema era que as imagens das postagens de determinadas imagens de blogs não estavam sendo carregadas no navegador. Achei estranho por causa dos seguintes motivos: Somente as imagens que fazem parte da postagem não …

8 google-chrome  firefox  wget  chromium 

Desejo acessar um site de jornal e fazer o download das cópias epaper (em PDF). O site exige que eu efetue login usando meu endereço de e-mail e senha e, em seguida, me permita acessar esses URLs em PDF. Estou tendo problemas para definir minha sessão no Wget . Quando …

8 pdf  wget 

Geralmente, o wget mostra os tempos de transferência em segundos. Existe uma maneira de mostrar o tempo em milissegundos?

8 bash  shell  time  wget  transfer 

Estou baixando muitas páginas individuais com todo o conteúdo estático (js, css, imgs ...) via wget recursivo . Ele apareceu, o conteúdo servido, que foi compactado (gzip), é armazenado por wget em formato compactado . Mas eu quero forma descomprimida. Não é fácil imaginar escrever outro script que passe por …

6 linux  command-line  compression  wget 

Quero que o wget (tente) iniciar o download e, se não for feito após 10 segundos, quero que desista. wget --timeout 10 http://url Parece uma tentativa razoável, mas parece que apenas define --dns-timeout, --connect-timeout e --read-timeout. Assim, ele pode esperar 9 segundos para o DNS, outros 9 para conectar e …

5 wget  timeout 

Eu tenho um arquivo de texto download-list.txtque se parece com isso: http://www.example.com/file/image1.png http://www.example.com/file/image2.png http://www.example.com/file/image3.png . . . Para baixar os arquivos na lista eu corro wget -i download-list.txt Existe uma magia mágica que eu possa usar que não me obrigue a fazer tal lista?

4 wget 

Eu procuro uma maneira de obter a última taxa de câmbio online usando a linha de comando. Eu quero usá-lo com outro programa. Até agora tudo o que tenho é o seguinte: wget -qO- "http://www.google.com/finance/converter?a=1&from=usd&to=inr&hl=es" | sed '/res/!d;s/<[^>]*>//g'; Não é o meu código, encontrado na web. Ele será exibido no …

4 command-line  wget 

Estou usando o wget para baixar recursivamente todas as páginas do site (incluindo todos os css, js e imagens) que funciona muito bem, exceto que não segue <video> tag e não baixar arquivos de vídeo Existe alguma solução para isso?

2 html  wget  html5 

Eu tenho arquivos em um Windows 7, servidor xampp (usando porta alterada, 181). Estou acionando o script de outro computador (linux) usando curl http://xxx.xxx.xxx:181/phpproject.php Este projeto PHP é um rastreador da web usando PHP cURL, que embaralha uma lista de proxies (http). Eu também tenho um script no sistema linux …

2 linux  proxy  php  wget  curl