Não há motivos técnicos para que isso não seja possível. No entanto, não existem muitas razões pelas quais não é prático. Com a quantidade limitada de espaço na tela que os caracteres representam na tela, seria difícil encontrar uso para mais de 256 cores simultâneas na tela.
Tanto quanto sei, os clientes do terminal usam espaço de cores indexado. Uma das razões para isso é que, na sua forma mais simples, 256 cores indexadas podem ser descritas com um byte. Enquanto o espaço de cores RGB precisar de dois ou três bytes. Considerando como as cores são codificadas em um fluxo de terminal, cada cor teria pelo menos dois bytes + qualquer marcação inteligente. Isso pode não ser um problema de memória de grande problema, no entanto, quando em um fluxo de rede em tempo real, pode aumentar a latência, especialmente (me corrija se estiver errado) cada caractere é enviado em seu próprio pacote.