Artlung abordou algumas considerações de suporte, mas também há o fato de que isso não importa muito na maioria das vezes. O ponto importante da pergunta é "até que esteja totalmente carregado". O formato progressivo não é um detalhe estético que faz a imagem desfocar, é funcional:
Se uma imagem é grande o suficiente (pelo tamanho do arquivo) que demorar um pouco para download, em seguida, você verá a progressão.
Mesmo que todos os JPEG em todos os lugares sejam salvos como progressivos, na conexão comum atual acelera a esmagadora maioria das imagens que você encontrará, não são grandes o suficiente para que você possa ver o efeito em um grau significativo. Essa foi uma ótima idéia quando todos usavam modems de telefone lento, mas é cada vez mais uma curiosidade de aplicação prática limitada além de sites que realmente exigem imagens muito grandes, como um fotógrafo exigente ou algo assim.
O mesmo vale para GIFs entrelaçados, já que alguém os usou nos comentários.
Existe um fator potencial de público aqui, digamos, se você considerar países com uma infraestrutura de rede menos desenvolvida, onde eles podem obter velocidades significativamente mais lentas, mas não posso falar sobre isso. Eu podia vê-los como possivelmente tendo algum aplicativo para navegação móvel, mas voltamos ao suporte irregular do recurso.