Não há "melhor formato"; há apenas vários níveis de irritação.
Collada faz praticamente tudo o que você poderia querer fazer, com o custo de fazer tudo o que não quer fazer também. Isso o torna um formato de intercâmbio útil, mas não é algo que você provavelmente deveria estar carregando diretamente no seu jogo.
O FBX não é tão amplamente suportado, sendo um formato proprietário. E é ... um formato proprietário, mas pelo menos a especificação de formato está disponível.
A maioria dos desenvolvedores de jogos precisa massagear os dados, seja qual for o tipo, em algo que seu jogo possa carregar e jogar na tela o mais rápido possível. Portanto, a maioria dos mecanismos de jogos que suportam os formatos de intercâmbio usarão uma ferramenta off-line para transformá-los em seus formatos específicos de jogo.
E essa geralmente é uma boa maneira de trabalhar. Você tem uma boa separação de código: o código que massageia os dados é separado do código que os carrega no jogo. Você obtém um desempenho de carregamento rápido, enquanto ainda tem a capacidade de formatar os dados conforme necessário para velocidade e uso máximos. E você ainda pode ver como são os dados no formato de arquivo exportado original, que geralmente é algum tipo de arquivo de texto.