Digamos que exista um URL, vamos chamá-lo http://www.some-url.com/folder/
Este local tem a listagem de diretórios ativada , portanto, eu posso fazer isso:
wget -r -np http://www.some-url.com/folder/
Para baixar todo o seu conteúdo com todos os arquivos e subpastas e seus arquivos.
Agora, o que devo fazer se quiser repetir esse processo novamente, um mês depois, e não quiser baixar tudo novamente, apenas adicionar arquivos novos / alterados?