Certamente seria uma experiência interessante. No entanto, recompilar uma distribuição Linux inteira usando um compilador alternativo não seria realmente simples. Muitos pacotes essenciais dependem do GCC e de outros utilitários da cadeia de ferramentas GNU.
Seria viável usar um compilador alternativo para os pacotes que não exigem que o GCC crie um híbrido. Pode ser possível substituir pacotes dependentes do GCC por outros que seriam criados com seu compilador, mas na maioria dos casos não há muitas alternativas. Onde houver, você precisará determinar se essas alternativas serão tão funcionais para o uso pretendido.
A verdadeira questão é: valeria a pena? Se você estiver tentando criar um sistema incorporado, um compilador alternativo poderá produzir binários menores. Se você estiver criando um cluster de computação, poderá obter uma execução mais rápida do código. Se você estiver criando uma área de trabalho, terá uma ótima experiência de aprendizado.
Eu acho que, no final (assumindo que você está construindo um desktop), você descobrirá o que muitos usuários de distribuição de origem decidem: a quantidade de tempo gasto otimizando, construindo e reconstruindo supera em muito o tempo economizado pela execução mais rápida do código. Isso não quer dizer que não deva ser feito - pode ser bem divertido. Se você fizer isso, este site seria um ótimo lugar para encontrar respostas e documentar seus esforços.