Se você usar seus cartões em câmeras diferentes, notará que algumas câmeras mostram apenas as fotos tiradas com essa câmera.
Portanto, se você escolher "excluir tudo", ele excluirá apenas as imagens conhecidas, feitas pela própria câmera, e você acabará com um cartão de memória parcialmente cheio, não podendo tirar tantas fotos quanto deveria.
O mesmo se você tiver outros arquivos em seus cartões de memória, que consomem espaço.
Outra coisa, se o sistema de arquivos ficar corrompido por algum motivo, excluir todos não o corrigirá, enquanto o formato corrigirá a corrupção lógica do sistema de arquivos.
Eu sempre usaria formato. Exceto, talvez, se o formato for extremamente lento, demorando vários minutos (como no Leica M9, não tenho certeza se eles o corrigiram agora).
É claro que, no caso de formato, tudo se foi e, para mim, é o que eu quero, mas se você costuma colocar dados ou fotos importantes em um cartão de memória sem ter um backup em outro lugar, pode não ser o que você deseja (mas você não faria isso, você faria).