Perguntas com a marcação «wget»

Eu tenho um servidor HTTP mínimo escrito em python ( http://pastebin.com/mjLDk7Gk ) que simplesmente responde a todas as solicitações GET com status 200 e corpo "Done". Se eu fizer wget "http://localhost:9001" -O - -q Done Mas se eu deixar de fora o -q: wget "http://localhost:9001" -O - --2015-01-12 15:28:20-- http://localhost:9001/ …

2 linux  wget  xterm  gnome-terminal 

WGET me dê este erro: HTTP request sent, awaiting response... 403 Forbidden 2015-11-23 12:07:06 ERROR 403: Forbidden. Se eu tentar o mesmo URL (é um servidor Apache de rede interna, o firewall não está bloqueando) com CURL, o download funcionará bem. Estou usando os parâmetros básicos, porta 80 ... apenas …

2 linux  wget  curl 

Fiz duas chamadas http para o mesmo recurso compactado com gzip de duas máquinas diferentes - RHEL e OSX. curl http://example.com/file.gz A primeira chamada retornou uma saída binária esperada: /�IQ���} A segunda chamada retornou o conteúdo: Hello, world! O mesmo fenômeno aconteceu com wget- resposta binária da máquina RHEL, texto …

2 macos  wget  curl  gzip 

Eu preciso curl / wget uma página e verifique se ele retornou um valor específico (caso contrário, retorne 1), algo como isto: curl http://example.com/something/run | grep -e '^success!$' || return 1 Quais sinalizadores devo usar no curl ou no wget? Não está funcionando.

2 linux  wget  curl 

Estou tentando fazer com que o wget salve uma página + pré-requisitos em um formato semelhante ao de um navegador da web: article.html article_files/img.jpg article_files/script.js Eu sou capaz de obter quase esse comportamento, mas article.htmlestá dentro article_files. Isso é possível? Meu comando incompleto é este: wget \ --page-requisites \ --html-extension …

2 wget  screen-scraping 

Dentro de um script bash, estou baixando dinamicamente um arquivo e, portanto, uso wget --content-dispositionpara garantir que os nomes dos arquivos estejam corretos, mas como eu recuperaria o nome do arquivo wgetsalvo como?

2 bash  shell-script  wget 

Eu quero baixar um conjunto de arquivos de um site. Os documentos HTML estão vinculados <a href="https://website.com/path/to/folder/jjxx.70" data-linktype="relative-path">bla</a> Após o download do arquivo principal, o caminho / para / pasta é removido conforme o esperado. A linha restante é: <a href="jjxx.70" data-linktype="relative-path">bla</a> Mas o wget não faz o download dos …

1 download  wget 

Eu tenho 2000 URLs no arquivo excel. As URLs estão na primeira coluna e na segunda há nomes para os arquivos baixados do URL na primeira coluna. Eu posso copiar isso e colar no arquivo .txt se for necessário, sem problemas. Nomes de arquivos contêm espaços. Eu preciso fazer isso …

1 windows-7  download  wget  url  save-as 

Eu estou procurando por cliente de linha de comando ftp para Windows, capaz de acelerar downloads usando vários processos / threads. (Filezilla faz isso AFAIK, mas não funciona na linha de comando). Ou talvez haja uma maneira de fazer isso com wget (que eu estou usando atualmente)?

1 windows  command-line  ftp  wget  multi-threaded 

Eu estou tentando obter uma réplica exata de uma página. Eu uso: wget -E -H -k -K -p http://example.com Tudo funciona bem, exceto: Se no meu estilo houver uma importação de outro arquivo CSS, ele não será baixado. Se o JavaScript colocar as imagens em qualquer lugar, elas não serão …

1 linux  wget 

Possível Duplicar: Wget uma página que requer o login Desejo baixar o arquivo de http://mbr.nlm.nih.gov/Download/MetaMapped_Medline/2011/ . No entanto, para fazer o download do arquivo, preciso inserir uma senha e um nome de usuário, que são aceitos por meio de um formulário HTTP. Existe uma maneira pela qual eu posso digitar …

1 wget  curl 

Estou tentando rastrear um servidor antigo do Reviewboard que possuo para criar uma cópia estática e arquivá-la, e estou fazendo isso usando o wget por recomendações de algumas pessoas, usando a maneira recomendada de rastrear e baixar um servidor como esse : wget --recursive --no-clobber --page-requisites --html-extension --convert-links --domains $DOMAIN …

1 linux  wget  authentication  ldap 

Eu não tenho idéia do que aconteceu, mas de repente ele começou a mostrar a barra de progresso na ordem inversa ... Solicitação HTTP enviada, aguardando resposta ... 200 OK Comprimento: 4102725632 (3.8G) [application / octet-stream] Salvando em: `*******. *** ' -64% [================> ................] -1,603,353,961 14,3K / s para 2d …

1 windows-7  windows  wget  progress-bar 

Estou procurando baixar vários arquivos de um servidor usando cURL do Terminal em um Mac. Sei que, usando o operador {}, posso carregar um arquivo após o outro, mas pretendo fazer o download de todos (10) deles usando várias conexões ao mesmo tempo. Existe uma maneira de fazer isso (nota: …

1 mac  curl  wget 

Eu tenho mais de 200 wget em telas no meu servidor. Eu configurei um limite de download em cada baixo wget: --limit-rate=1K. O único problema é que depois de cem segundos, ele considera terminado, então este arquivo de fluxo que não tem limite de download. Aqui o comando: screen -dmS …

linux  debian  shell  script  wget