Além do que Jorge sugeriu (sobre a escolha dos melhores servidores), você pode remover alguns repositórios extras de terceiros (como os da barra de ativação que você pode ter instalado para alguns temas extras, etc.) para tornar o processo MUITO mais rápido.
Você pode ler sobre isso aqui: Como remover um repositório?
Digamos que você queira baixar e instalar algum plug-in extra - por exemplo, um bate-papo por vídeo do Gmail. Tendo apenas esse repositório selecionado nesta lista, antes de fazer uma
sudo apt-get update
tornará drasticamente rápido, porque você não precisa baixar todas as outras listas desnecessárias.
Esse arquivo de lista é meio grande (cerca de 24 MB no mínimo - para pacotes padrão - e a remoção de repositórios indesejados o ajudará a economizar um minuto ou mais.). Você pode ler mais sobre isso aqui: o tamanho das listas de atualização do apt-get é muito grande
No mesmo local (onde você seleciona esses repositórios), você pode "Selecionar o melhor servidor" para fazer o download o mais rápido possível. Às vezes, quando os espelhos próximos a você ficam inativos, isso seleciona automaticamente o melhor servidor naquele momento. Você pode ler a segunda resposta aqui: Como posso usar um espelho perto de mim ou escolher um espelho mais rápido?
Todas essas configurações estão em "Gerenciador de Atualizações", portanto, dê uma olhada e ajuste feliz!