tl; dr: Como o YouTube recodifica todos os vídeos, independentemente do formato de upload, ele realmente não é tão importante. Exporte seu vídeo com uma alta taxa de bits para preservar a qualidade. Veja também minha resposta aqui sobre perda de qualidade causada pelo Youtube.
Resposta longa: cada recodificação de um vídeo em um formato compactado reduz a qualidade. Geralmente, isso significa que você perderá a qualidade em dois pontos: quando você exporta o vídeo editado do seu software de edição e quando faz o upload do vídeo exportado para o Youtube, quando é reencodificado para um formato altamente compactado e compatível com streaming. Você não tem controle sobre a segunda etapa; portanto, o que você pode fazer para obter a máxima qualidade possível é perder a menor qualidade possível durante a primeira codificação.
Em teoria, isso significaria exportação para um perceptually (embora tecnicamente não) formato não comprimido como a Apple ProRes ou DNxHD como você sugeriu. No entanto, infelizmente, o YouTube não suporta esses formatos, então você precisará usar um formato compactado. Para minimizar a perda de qualidade, defina uma taxa de bits alta nas configurações de exportação (supondo que o tempo de renderização e upload não seja um problema. Se houver, você precisará encontrar um meio termo; exportar com uma taxa de bits superior à taxa de bits de o material de origem não produzirá mais qualidade, o que é tão alto quanto eu gostaria). Se você fizer isso, não importa realmente qual codec você usa, ambos são altamente eficientes em relação à relação tamanho / qualidade do arquivo (o VP9 provavelmente é um pouco mais, mas isso é mais importante quando você está lidando com taxas de bits baixas). O YouTube recomenda o H264, então é isso que eu usaria. No entanto, o melhor conselho que posso lhe dar é experimentar os dois, ou seja, exportar o mesmo vídeo que o H264 e o VP9 com taxas de bits / outras configurações idênticas, fazer o upload para o youtube e verificar qual é o melhor para você.