Obter destino de redirecionamento do URL com curl

24

Gostaria de verificar para onde um único URL redireciona. Um exemplo disso pode ser um link da página de resultados de pesquisa do Google (onde um clique sempre passa pelo servidor do Google).

Posso fazer isso com curl?

curl url

— sintagma
fonte

18

Tente o seguinte:

$ LOCATION=`curl -I http://raspberrypi.stackexchange.com/a/1521/86 | perl -n -e '/^Location: (.*)$/ && print "$1\n"'`
$ echo "$LOCATION"
/questions/1508/how-do-i-access-the-distributions-name-on-the-command-line/1521#1521

Redirecionamentos do Google

Os URLs de redirecionamento do Google são um pouco diferentes. Eles retornam um redirecionamento Javascript, que poderia ser facilmente processado, mas por que não processar o URL original e se enrolar juntos?

$ URL="http://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CFAQFjAA&url=http%3A%2F%2Fwww.raspberrypi.org%2F&ei=rv8oUODIIMvKswa4xoHQAg&usg=AFQjCNEBMoebclm0Gk0LCZIStJbF04U1cQ"
$ LOCATION=`echo "$URL" | perl -n -e '/url=([a-zA-Z0-9%\.]*)/ && print "$1\n"'`
$ echo "$LOCATION"
http%3A%2F%2Fwww.raspberrypi.org%2F
$ echo "$LOCATION" | perl -pe 's/%([0-9a-f]{2})/sprintf("%s", pack("H2",$1))/eig'
http://www.raspberrypi.org/

Referência

Para decodificação de URL ...

— Alex Chamberlain
fonte

Como cerca de URLs especiais com caracteres especiais (como redirecionamentos do Google), por exemplo: google.com/...

— sintagma

@REACHUS O redirecionamento é codificado na string de consulta do URL fornecido.

— Alex Chamberlain

@REACHUS Não se preocupe - você provavelmente pode combinar as duas instruções perl.

— Alex Chamberlain

20

Existe uma maneira ainda mais fácil

curl -w "%{url_effective}\n" -I -L -s -S $URL -o /dev/null

iria imprimir

http://raspberrypi.stackexchange.com/questions/1508/how-do-i-access-the-distributions-name-on-the-command-line/1521

para URL

http://raspberrypi.stackexchange.com/a/1521/86

— ismail
fonte

3

Isso usa mais tempo e largura de banda, já que você está baixando a segunda página também.

— unhammer

1

@unhammer Você está certo, atualizou minha resposta para fazer apenas pedidos de cabeça.

— Ismail

7

curl pode ser configurado para seguir redirecionamentos e imprimir variáveis após a conclusão. Portanto, o que você pede pode ser alcançado com o seguinte comando:

curl -Ls -w %{url_effective} -o /dev/null https://google.com

A página do manual explica os parâmetros necessários assim:

-L, --location          Follow redirects (H)
-s, --silent            Silent mode (don't output anything)
-w, --write-out FORMAT  Use output FORMAT after completion
-o, --output FILE       Write to FILE instead of stdout

— schmijos
fonte

4

ou tente isso

curl -s -o /dev/null -I -w "HTTP_CODE: %{http_code}\nREDIRECT_URL: %{redirect_url}\n" http://raspberrypi.stackexchange.com/a/1521/86

— user1146332
fonte

Como cerca de URLs especiais com caracteres especiais (como redirecionamentos do Google), por exemplo: google.com/...

— sintagma

basta colocar o URL entre aspas simples, para que seu shell ignore os caracteres especiais no link. Mas o link que você declarou não redireciona para outro URI, o código de status da resposta é 200 e não 3xx. O URI que você procura está oculto no próprio URI, respectivamente, no conteúdo da resposta. Para um exame mais aprofundado, você pode estudar o cabeçalho da resposta curl -s -I 'http://yoururl'e o conteúdo da resposta curl -s 'http://yoururl'(você verá que o Google usa um javascript simples para o redirecionamento).

— user1146332

0

Os parâmetros -L (--location)e -I (--head)ainda fazendo solicitação HEAD desnecessária para o local-url.

Se você tiver certeza de que não terá mais de um redirecionamento, é melhor desativar o local de acompanhamento e usar uma variável de curvatura% {redirect_url}.

Este código faz apenas uma solicitação HEAD para o URL especificado e leva redirect_url do cabeçalho do local:

curl --head --silent --write-out "%{redirect_url}\n" --output /dev/null "https://goo.gl/QeJeQ4"

— Geografia
fonte