Como posso passar o argumento armazenado em uma variável para o WGET

10

Estou escrevendo um script bash que usa extensivamente o wget. Para definir todos os parâmetros comuns em um único local, eu os guardo em variáveis. Aqui está um pedaço de código:

useragent='--user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0"'
cookies_file="/tmp/wget-cookies.txt"
save_cookies_cmd="--save-cookies $cookies_file --keep-session-cookies"
load_cookies_cmd="--load-cookies $cookies_file --keep-session-cookies"

function mywget {
    log "#!!!!!!!!!# WGET #!!!!!!!!!# wget $quiet $useragent $load_cookies_cmd $@"  
    wget $useragent $load_cookies_cmd "$@"
}

Infelizmente não está funcionando. De alguma forma, estou perdendo o caminho certo para armazenar parâmetros nas variáveis $ useragent, $ save_cookies_cmd, $ load_cookies_cmd e caling wget passando esses vars como parâmetros.

Eu quero a linha de comando do resultado como esta:

wget --user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0" --load-cookies /tmp/wget-cookies.txt --keep-session-cookies http://mysite.local/myfile.php

EDIT: Minha solução final:

No final, meu script está funcionando corretamente com isso:

useragent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0"
useragent_cmd="--user-agent=$useragent"
cookies_file="/tmp/wget-cookies.txt"
save_cookies_cmd="--save-cookies $cookies_file --keep-session-cookies"
load_cookies_cmd="--load-cookies $cookies_file --keep-session-cookies"

function mywget {
    log "#!!!!!!!!!# WGET #!!!!!!!!!# wget $load_cookies_cmd $useragent_cmd $@"  
    wget $load_cookies_cmd "$useragent_cmd" "$@"
}

Obrigado por todas as suas respostas.

bash wget variable-substitution

— Filipe
fonte

4

http://mywiki.wooledge.org/BashFAQ/050

user_agent='--user-agent="Mozilla/5.0 (Windows NT 6.1; WOW64; rv:27.0) Gecko/20100101 Firefox/27.0"'
cookies_file="/tmp/wget-cookies.txt"
save_cookies_opts=( --save-cookies "$cookies_file" --keep-session-cookies )
load_cookies_opts=( --load-cookies "$cookies_file" --keep-session-cookies )

function mywget {
    log "#!!!!!!!!!# WGET #!!!!!!!!!# wget $quiet $useragent $load_cookies_cmd $@"
    wget "$user_agent" "${load_cookies_opts[@]}" "$@"
}

Observe que na chamada wget, "$user_agent"é citado. Isto é crucial.

— Glenn Jackman
fonte

Inteligente usando a matriz. Obrigado pela sua resposta. Certamente vai me ajudar a entender melhor o script bash.

— Filipe

3

O problema está na ordem das expansões (consulte EXPANSÃO em man bashpara obter detalhes). Aspas duplas dentro de uma variável não funcionam como aspas duplas quando a variável é expandida:

$ a='1 "2 3" 4' ; for b in $a ; do echo $b ; done
1
"2
3"
4

Observe que o uso de "$ b" não ajuda.

Use matrizes para permitir que o bash faça o trabalho duro e esqueça de citar e escapar:

$ a=(1 '2 3' 4) ; for b in "${a[@]}" ; do echo $b ; done
1
2 3
4

— choroba
fonte

Obrigado pelo seu tempo. Eu sou meio que iniciante no bash script e esses truques sempre me ajudarão a partir de agora.

— Filipe

3

    mywget() ( echo log "wget $quiet \
                         userstring=${userstring:-unset} \
                         cookies=${cookies:-no} $@"
            echo wget ${userstring:+--useragent="$userstring"} \
                    ${cookies:+--${cookies}-cookies \
                    "$cookies_file" --keep-session-cookies} "$@"
    ) <<-PARAMS
            ${DQ=$(printf \\042)}
            ${NL=
}
            ${userstring="${DQ}Mozilla/5.0 \
                (Windows NT 6.1; WOW64; rv:27.0) \
                Gecko/20100101 Firefox/27.0${DQ}"}
            ${cookies_file="/tmp/wget-cookies.txt"}
            ${cookies=save}
    PARAMS

Por favor, perdoe-me, mas tomei a liberdade de parameterizingsua função. Porque os valores na PARAMSvontade única definir uma variável definida, você pode substituir seus valores muito facilmente - ele permite que você defina os padrões sensatos e ainda alterar valores por chamada de função como você gosta. Por exemplo, na função acima, eu configurei todos os valores para echoe aqui está a saída quando executada como é:

log wget  userstring="Mozilla/5.0 \
    (Windows NT 6.1; WOW64; rv:27.0) \
    Gecko/20100101 Firefox/27.0" \
    cookies=save
wget --useragent="Mozilla/5.0 \
    (Windows NT 6.1; WOW64; rv:27.0) \
    Gecko/20100101 Firefox/27.0" \
    --save-cookies /tmp/wget-cookies.txt \
    --keep-session-cookies

Mas se eu definir "$userstring"para NULL:

    userstring= mywget
log wget  userstring=unset cookies=save
wget --save-cookies /tmp/wget-cookies.txt --keep-session-cookies

Ou:

    cookies=load cookies_file=/some/other/cookie.file mywget
log wget  userstring="Mozilla/5.0 \
    (Windows NT 6.1; WOW64; rv:27.0) \
    Gecko/20100101 Firefox/27.0" \
    cookies=load
wget --useragent="Mozilla/5.0 \
    (Windows NT 6.1; WOW64; rv:27.0) \
    Gecko/20100101 Firefox/27.0" \
    --load-cookies /some/other/cookie.file \
    --keep-session-cookies

Ou:

    cookies= userstring= mywget
log wget  userstring=unset cookies=no
wget

Eu escrevi mais aqui e aqui .parameter expansion

— mikeserv
fonte