A maior coisa é o sistema de arquivos. Infelizmente, não importa o quanto você desfragmentar, existem arquivos que não serão e não poderão ser organizados corretamente. Como resultado, à medida que o computador se acostuma cada vez mais, esses arquivos (como o registro, arquivos críticos do sistema) ficam maiores e mais fragmentados, o que resulta em desempenho reduzido.
Chaves de registro inválidas também são um grande problema de desempenho. Embora você tenha mencionado que limpava o registro regularmente, não há como saber que o que está fazendo é livrar-se de todas as chaves inválidas - a menos que queira pesquisar manualmente pelo registro, você está contando com o que o autor da ferramenta considera inválido.
(Dito isso, os limpadores de registro como o CCleaner são impressionantes, mesmo que possam perder coisas que eu possa remover)
Além disso, o sistema de arquivos pode sofrer problemas de corrupção ao longo do tempo para - normalmente as pessoas fazem um formato de alguma descrição quando reinstalam, o que substitui o sistema de arquivos e geralmente qualquer corrupção que o acompanhe.
Infelizmente, o Windows é como um arquivo gigante. Você pode fazer o possível para mantê-lo limpo e organizado, mas, eventualmente, você precisará apenas extrair seus arquivos e começar tudo de novo.
Edit: Molly apontou algumas ferramentas fantásticas nos comentários que podem ajudar a desfragmentar arquivos de sistema grandes que normalmente não são desfragmentáveis (isso é mesmo uma palavra) por uma ferramenta de desfragmentação normal. Essas ferramentas, se usadas corretamente, podem ajudar a prolongar a reformatação.