Tecnicamente, qualquer uso de uma unidade reduz o MTBF (tempo médio antes da falha, eu acho). Mas, como alguém disse, hoje em dia é um número enorme. As unidades não são garantidas além disso. Mas todos acabarão fracassando com o uso do simples desgaste; eles têm peças móveis e pratos giratórios a velocidades incríveis e altas temperaturas.
Formatos de baixo nível não são possíveis em novas unidades; setores defeituosos são mapeados pelo firmware. Cada cilindro de um disco possui setores extras e, quando um setor começa a falhar, é movido para o setor novo e re-mapeado. Quando o espaço extra em um cilindro enche (a unidade está realmente ficando ruim), ele empresta o espaço do próximo cilindro. Não sei ao certo o que isso significa para os programas de desfragmentação, mas presumo que eles lidem com isso adequadamente ou sejam completamente cegos.
Concordo que a formatação não é mais prejudicial do que qualquer outra função. Menos do que meu jogo StarCraft II, de longe!