Outra razão para não afiar logo no início é: A impressão de nitidez também depende da distância de visualização. Se você afiar uma imagem em resolução máxima e reduzi-la a 1/4 da resolução, por exemplo, para a Web, o efeito de nitidez dificilmente será mais visível. Por exemplo, você tem pixels com os seguintes valores:
15 35
15 35
que pode ser assim após a nitidez (o contraste local aumenta):
5 45
5 45
Em seguida, reduza-o para metade do tamanho, o que resultaria em um único pixel com o valor
25
(média do acima). Este é o mesmo resultado obtido com a imagem não afiada. O ponto é que você também obtém uma versão "reduzida" da imagem ao vê-la a uma distância maior (aqui está o link agora :)). Se a imagem for impressa com 600 dpi, mas meu olho puder resolver apenas 150 dpi a partir da posição em que a assisto, ela poderá ser mais nítida.
Além disso, a nitidez é sempre uma operação «com perdas», ou seja, você tenta adivinhar como era a imagem original sem realmente saber. E, finalmente, a nitidez pode aumentar artefatos de ruído e compactação, e geralmente é uma boa idéia adiar todo tipo de perda de qualidade o máximo possível :)