Há uma discussão agradável e razoavelmente recente sobre esse problema aqui:
Christian P. Robert Multimodalidade e troca de etiquetas: uma discussão. Workshop sobre misturas, ICMS, 3 de março de 2010.
Essencialmente, existem várias estratégias padrão, e cada uma tem prós e contras. A coisa mais óbvia a fazer é formular o prior de maneira a garantir que exista apenas um modo posterior (por exemplo, ordenar os meios dos componentes da mistura), mas isso acaba tendo um efeito estranho no posterior, e portanto, geralmente não é usado. Em seguida, ignore o problema durante a amostragem e depois processe a saída para rotular novamente os componentes para manter os rótulos consistentes. Isso é fácil de implementar e parece funcionar bem. As abordagens mais sofisticadas rotulam novamente a etiqueta on-line, mantendo um único modo ou permutando deliberadamente aleatoriamente as etiquetas para garantir a mistura em vários modos. Eu gosto bastante da última abordagem, mas isso ainda deixa o problema de como resumir a saída de forma significativa. No entanto, vejo isso como um problema separado.