Perguntas com a marcação «wget»

Se eu tiver uma lista de URLs separadas por \n, existem opções para as quais eu possa passar para wgetfazer o download de todos os URLs e salvá-los no diretório atual, mas somente se os arquivos ainda não existirem?

11 wget  download  options 

O wget possui uma opção -npque desativa a obtenção de arquivos de qualquer diretório pai. Eu preciso de algo semelhante, mas um pouco mais flexível. Considerar: www.foo.com/bar1/bar2/bar3/index.html Eu gostaria de obter tudo, mas não "mais alto" (na hierarquia da árvore) que bar2(!). Portanto bar2, também deve ser buscado, mas não …

11 wget  mirror  tree 

Temos um script que baixa a segurança do mod do github que começou recentemente a falhar. Os servidores executam o CentOS 6, mas o RHEL 6 provavelmente tem o mesmo problema. A saída é: # wget https://github.com/downloads/SpiderLabs/ModSecurity/modsecurity-apache_2.7.1.tar.gz --2014-07-22 18:49:46-- https://github.com/downloads/SpiderLabs/ModSecurity/modsecurity-apache_2.7.1.tar.gz Resolving github.com... 192.30.252.129 Connecting to github.com|192.30.252.129|:443... connected. HTTP request sent, …

10 centos  wget  github 

Gostaria de aplicar esse patch, então copiei o código começando em "Index: src / options.h" e terminando com "+ @ item" e o coloquei em um novo arquivo criado na wgetpasta de código-fonte da. Então eu fiz: $ patch -p0 < name_of_patch (Patch is indented 1 space.) patching file src/options.h …

10 wget  patch 

Estou wgetusando arquivos enormes (acima de 100 GB) e depois comparando meu md5sum com a soma postada no repositório. Acredite ou não, md5sumleva um tempo não trivial para ser executado em um arquivo desse tamanho, então eu gostaria de obter a soma em paralelo com o download. Qual é a …

10 wget  checksum 

Estou escrevendo um script bash que usa extensivamente o wget. Para definir todos os parâmetros comuns em um único local, eu os guardo em variáveis. Aqui está um pedaço de código: useragent='--user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0"' cookies_file="/tmp/wget-cookies.txt" save_cookies_cmd="--save-cookies $cookies_file --keep-session-cookies" load_cookies_cmd="--load-cookies $cookies_file --keep-session-cookies" function mywget { log …

10 bash  wget  variable-substitution 

Estou tentando baixar um arquivo através de HTTP de um site usando wget. Quando eu uso: wget http://abc/geo/download/?acc=GSE48191&format=file Eu recebo apenas um arquivo chamado index.html?acc=GSE48191. Quando eu uso: wget http://abc/geo/download/?acc=GSE48191&format=file -o asd.rpm Recebo asd.rpm, mas quero fazer o download com o nome real e não quero alterar manualmente o nome …

9 filenames  wget 

Eu sou bem novo wget. Eu só preciso saber como posso definir a pasta de destino onde os downloads são salvos. Eu acredito que sim --directory-prefix. Obrigado,

9 wget 

Estou baixando a página de origem HTML de um site usando o cURLcomando O problema é que eu não quero a maior parte do conteúdo da página. Eu só preciso das 100 primeiras linhas da página de origem. Existe uma maneira de interromper o download da página após as primeiras …

9 wget  curl 

Imagine algo como isto: $ curlsh http://www.example.org > GET /foo/bar/bam ...output here... > POST /thing/pool ... ... result here.... existe uma ferramenta que me permita fazer isso?

9 wget  curl 

Quero fazer o download https://example.comusando o wgetcomando, mas ele diz "protocolo não suportado / não reconhecido". Eu tentei usar o --secure protocol=''mas isso não funciona. Eu baixei o arquivo tar do GNU wget e tentei configurá-lo, mas falhei. Aqui está um exemplo do que vejo: bash-2.05$ wget https://www.facebook.com/ https://www.facebook.com/: Unknown/unsupported …

9 wget  https 

Eu uso o wgetcomando em segundo plano como este wget -bq e imprime Continuando em segundo plano, pid 31754. Mas quando eu digito o comando jobs, não vejo meu trabalho (embora o download não esteja concluído).

8 command-line  wget  background-process  job-control 

Quero testar como o meu site se comportaria ao ser spider. No entanto, quero excluir todos os URLs que contêm a palavra "página". Eu tentei: $ wget -r -R "*page*" --spider --no-check-certificate -w 1 http://mysite.com/ O -Rsinalizador deve rejeitar o padrão de URL que contém a palavra "página". Exceto que …

8 wget  url 

Estou tentando descobrir um método muito rápido na determinação da dimensão das imagens. Sei que poderia criar a imagem e usar a imagemagick para determinar a altura e a largura da imagem. Estou preocupado que essa possa não ser a maneira mais rápida de fazê-lo. Também estou preocupado em ter …

8 bash  wget  imagemagick 

Uma das principais falhas curlé que cada vez mais páginas da web estão tendo seu conteúdo principal pintado por uma resposta AJAX JavaScript que ocorre após a resposta HTTP inicial. curlnunca capta esse conteúdo pós-pintado. Portanto, para buscar esses tipos de páginas da Web na linha de comando, fui reduzido …

8 wget  http  html  curl  selenium