Ondulação. Verificar redirecionamento

8

Vamos supor que temos 3 links: link1, link2, link3. link1 redireciona para link2 e link2 redireciona para link3. Então, como ver isso com curl?

linux ubuntu curl

— ipeacocks
fonte

13

Você pode ver os cabeçalhos HTML usando -I. Se o redirecionamento for uma meta-atualização, ele deverá aparecer dessa maneira como um cabeçalho.

lamp@oort ~ $ curl -I http://google.com<br>
HTTP/1.1 301 Moved Permanently<br>
Location: http://www.google.com/<br>
Content-Type: text/html; charset=UTF-8<br>
Date: Thu, 21 Nov 2013 14:59:13 GMT<br>
Expires: Sat, 21 Dec 2013 14:59:13 GMT<br>
Cache-Control: public, max-age=2592000<br>
Server: gws<br>
Content-Length: 219<br>
X-XSS-Protection: 1; mode=block<br>
X-Frame-Options: SAMEORIGIN<br>
Alternate-Protocol: 80:quic

Se o redirecionamento estiver acontecendo via PHP, você poderá detectá-lo comparando o local em que o navegador está indo e o local em que ele está ... Existem várias maneiras de fazer isso com Python, JS, etc. Um projeto que pode ser interessante para você é o phantomjs, um navegador sem cabeça com script.

— nandoP
fonte

5

Tente o seguinte:

for link in link1 link2 link3; do
    curl -Is "$link" | awk '/Location/{print $2}'
done

Ou usando netcat :

for link in link1 link2 link3; do
    printf '%s\n%s\n\n%s\n' 'HEAD / HTTP/1.1' "Host: $link" 'Connexion:close' |
    netcat $link 80 | awk '/Location/{print $2}'
done

— Gilles Quenot
fonte

4

De man curl:

   -w, --write-out <format>
          Defines what to display on stdout after a completed and
          successful operation.

          <...>

          redirect_url   When an HTTP request was made without -L to
                         follow redirects, this variable will show the 
                         actual URL a redirect would take you to.
                         (Added in 7.18.2)

Então, provavelmente curl -w "%{redirect_url}" link1, você fornecerá o primeiro URL de redirecionamento.

Talvez algo assim funcione para você:

URL="http://google.com"
while [ -n "${URL}" ]
do
    echo $URL
    URL=$(curl -sw "\n\n%{redirect_url}" "${URL}" | tail -n 1)
done

— FloHimself
fonte