Bem, considere isso:
Ao servir como texto / html, tudo o que você precisa para um doctype é ativar o modo de padrões. Além disso, o doctype não faz nada no que diz respeito aos navegadores.
Ao servir como texto / html, se você usa marcação XHTML ou marcação HTML, ele é tratado pelos navegadores como HTML.
Então, na verdade, tudo se resume ao uso do doctype mais curto que aciona o modo padrão (<! DOCTYPE html>) e ao uso da marcação HTML que produz o resultado correto nos navegadores.
O resto é sobre conformidade, validação e preferência de marcação.
Com isso dito, usar o <! DOCTYPE html> agora e tentar fazer sua marcação em conformidade com HTML5 não é uma má idéia, desde que você se atenha aos recursos estáveis que funcionam nos navegadores agora. Você não usaria nada no HTML4 ou XHTML 1.x que não funcione nos navegadores, usaria?
Em outras palavras, você usa <! DOCTYPE html> com marcação semelhante ao HTML4, respeitando as coisas que foram esclarecidas no HTML5. Afinal, o HTML5 trata da compatibilidade do navegador.
A desvantagem de usar o HTML5 agora é que as especificações podem mudar com bastante frequência. Isso torna importante acompanhar as especificações, pois elas mudam ativamente. Além disso, o http://validator.nu/ pode nem sempre estar atualizado, mas o http://validator.w3.org/ nem sempre está atualizado, portanto, não deixe que isso o impeça.
Obviamente, se você deseja usar a marcação XHTML 1.0 e se conformar ao XHTML 1.0, não deve usar <! DOCTYPE html>.
Pessoalmente, eu sempre uso <! DOCTYPE html> para HTML.