A forma como os wayback
URLs são formatados é a seguinte:
http://$BASEURL/$TIMESTAMP/$TARGET
Aqui BASEURL
está geralmente http://web.archive.org/web
(eu digo geralmente porque não tenho certeza se é o único BASEURL)
TARGET
é auto-explicativo (no seu caso http://nature.com
, ou algum URL semelhante)
TIMESTAMP
é YYYYmmddHHMMss
quando a captura foi feita (no UTC):
YYYY
: Ano
mm
: Mês (2 dígitos - 01 a 12)
dd
: Dia do mês (2 dígitos - 01 a 31)
HH
: Hora (2 dígitos - 00 a 23)
MM
: Minuto (2 dígitos - 00 a 59)
ss
: Segundo (2 dígitos - 00 a 59)
Caso você solicite um tempo de captura que não existe, a máquina de wayback será redirecionada para a captura mais próxima desse URL, seja no futuro ou no passado.
Você pode usar esse recurso para obter cada URL diário usando curl -I
(HTTP HEAD
) para obter o conjunto de URLs:
BASEURL='http://web.archive.org/web'
TARGET="SET_THIS"
START=1325419200 # Jan 1 2012 12:00:00 UTC (Noon)
END=1356998400 # Tue Jan 1 00:00:00 UTC 2013
if uname -s |grep -q 'Darwin' ; then
DATECMD="date -u '+%Y%m%d%H%M%S' -r "
elif uname -s |grep -q 'Linux'; then
DATECMD="date -u +%Y%m%d%H%M%S -d @"
fi
while [[ $START -lt $END ]]; do
TIMESTAMP=$(${DATECMD}$START)
REDIRECT="$(curl -sI "$BASEURL/$TIMESTAMP/$TARGET" |awk '/^Location/ {print $2}')"
if [[ -z "$REDIRECT" ]]; then
echo "$BASEURL/$TIMESTAMP/$TARGET"
else
echo $REDIRECT
fi
START=$((START + 86400)) # add 24 hours
done
Isso fornece os URLs mais próximos ao meio-dia de cada dia de 2012. Remova as duplicatas e faça o download das páginas.
Nota: O script acima provavelmente pode ser bastante aprimorado para avançar caso REDIRECT
seja para um URL mais de 1 dia no futuro, mas requer desconstrução do URL retornado e ajuste START
para o valor correto da data.