wget trabalhando no linux, mas não no mac os

Estou tentando baixar este arquivo: http://www1.caixa.gov.br/loterias/_arquivos/loterias/D_megase.zipusing wget, assim:

wget http://www1.caixa.gov.br/loterias/_arquivos/loterias/D_megase.zip

como o servidor usa uma verificação de cookie, isso faz duas solicitações diferentes para o mesmo URL, a primeira retorna 302 e a segunda os dados reais.

Nos meus vps rodando linux isso funciona, mas na minha máquina de desenvolvimento, um mac os 10.9.5 não funciona.

Esta é a saída para wget http://www1.caixa.gov.br/loterias/_arquivos/loterias/D_megase.zip:

No meu Mac:

--2015-01-12 15:22:47--  http://www1.caixa.gov.br/loterias/_arquivos/loterias/D_megase.zip
Resolvendo www1.caixa.gov.br (www1.caixa.gov.br)... 200.201.160.210
Conectando-se a www1.caixa.gov.br (www1.caixa.gov.br)|200.201.160.210|:80... conectado.
A requisição HTTP foi enviada, aguardando resposta... 302 Found
Localização: http://www1.caixa.gov.br/loterias/_arquivos/loterias/D_megase.zip [redirecionando]
--2015-01-12 15:22:48--  http://www1.caixa.gov.br/loterias/_arquivos/loterias/D_megase.zip
Conectando-se a www1.caixa.gov.br (www1.caixa.gov.br)|200.201.160.210|:80... conectado.
A requisição HTTP foi enviada, aguardando resposta... 404 Not Found
2015-01-12 15:22:49 ERRO 404: Not Found.

No meu VPS:

--2015-01-12 17:23:43--  http://www1.caixa.gov.br/loterias/_arquivos/loterias/D_megase.zip
Resolving www1.caixa.gov.br (www1.caixa.gov.br)... 200.201.160.210
Connecting to www1.caixa.gov.br (www1.caixa.gov.br)|200.201.160.210|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: http://www1.caixa.gov.br/loterias/_arquivos/loterias/D_megase.zip [following]
--2015-01-12 17:23:44--  http://www1.caixa.gov.br/loterias/_arquivos/loterias/D_megase.zip
Connecting to www1.caixa.gov.br (www1.caixa.gov.br)|200.201.160.210|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 100675 (98K) [application/x-zip-compressed]
Saving to: 'D_megase.zip.5'

100%[===========================================================================================================================================>] 100,675      142KB/s   in 0.7s

2015-01-12 17:23:45 (142 KB/s) - 'D_megase.zip.5' saved [100675/100675]

Alguém pode me ajudar?

isso na saída com depuração: https://gist.github.com/NicosKaralis/4407d59e8d0c620fdcbd, você pode ver claramente que os pedidos são os mesmos e a resposta não tem nada diferente

linux macos wget

— Nicos Karalis
fonte

Você tentou com wget --retry-connrefused ...ou melhor com wget --content-on-error ...?

— Hastur

Apenas tentou, --retry-connrefusedainda obter o erro 404 e não salvar nada, --content-on-errorainda obter o 404, mas o html 404 fornecida pelo servidor é guardado no arquivo de saída

— Nicos Karalis

Me desculpe, eu não tenho mac para testá-lo. Você tentou as duas opções juntos? Com o puro Linux e GNU wget v 1.15, ele funciona sem necessidade de opção. Parece que no sistema osx você tem a mesma versão (!). Se for forçado, você pode tentar fazer o download e compilá-lo a partir do código fonte, talvez como um novo comando e com a --staticopção Além disso, parece que existe pelo menos uma versão mais recente do wget para mac (1.16). Você pode tentarcurl -L http://www1.caixa.gov.br/loterias/_arquivos/loterias/D_megase.zip -o ./D_megase.zip

— Hastur

curl -Lme dá o seguinte:, curl: (47) Maximum (50) redirects followedmas se eu passar -H 'Cookie: security=true'parece parar os redirecionamentos, mas o comportamento é muito irregular, como 10 solicitações feitas e 7 404 erros no mac e 8 no meu linux vps, existe uma maneira de verificar se eles bloqueiam o meu IP ou algo assim?

— Nicos Karalis

Eu estava pensando em algo semelhante ... tente encontrar um arquivo que não dê erros ou, melhor, tente usar um proxy do seu mac ; melhor se da mesma VPN. No entanto, se você usar o mesmo proxy de ambas as máquinas ( mac e VPN-Linux ), poderá ver se há um problema de versões diferentes wgetou se há um problema de IP bloqueado.

— Hastur