Diferentes tipos de covariância para modelos de mistura gaussiana

Ao experimentar os modelos de mistura gaussiana aqui , encontrei esses 4 tipos de covariâncias.

'full' (each component has its own general covariance matrix),
'tied' (all components share the same general covariance matrix),
'diag' (each component has its own diagonal covariance matrix),
'spherical' (each component has its own single variance).

Pesquisei bastante no Google para encontrar mais detalhes sobre cada um desses tipos, mas encontrei apenas descrições de alto nível (como essa ).

Aprecie se alguém pode me ajudar a entender isso, ou pelo menos me direcione para algum lugar em que possa ler sobre isso.

covariance-matrix gaussian-mixture

— Abelha
fonte

Uma distribuição gaussiana é completamente determinada por sua matriz de covariância e sua média (uma localização no espaço). A matriz de covariância de uma distribuição gaussiana determina as direções e os comprimentos dos eixos de seus contornos de densidade, todos elipsóides.

$(0,0)$ $(4,5)$ $3/5$ $2/5$

Clicar na imagem exibirá uma versão em resolução mais alta.

Nota: são gráficos das misturas reais, não dos componentes individuais. Como os componentes são bem separados e têm peso comparável, os contornos da mistura se assemelham aos contornos dos componentes (exceto em níveis baixos onde podem distorcer e se fundir, como mostrado no centro do gráfico "amarrado", por exemplo).

Completo significa que os componentes podem adotar independentemente qualquer posição e forma.
Amarrado significa que eles têm a mesma forma, mas a forma pode ser qualquer coisa.
Diagonal significa que os eixos de contorno são orientados ao longo dos eixos de coordenadas, mas, caso contrário, as excentricidades podem variar entre os componentes.
A Diagonal Amarrada é uma situação "empatada", na qual os eixos de contorno são orientados ao longo dos eixos de coordenadas. (Eu adicionei isso porque, inicialmente, era assim que eu interpretava mal "diagonal".)
Esférica é uma situação "diagonal" com contornos circulares (esférica em dimensões superiores, de onde o nome).

$n$ $n(n+1)/2$

— whuber
fonte

Ótima resposta. Obrigado. Uma última pergunta. Estes são os únicos 4 tipos? ou existem outros tipos também?

— Bee

1

$1$

Obrigado. Acabei de comparar a descrição citada no meu post e sua resposta. Na minha, 'Amarrado' é o único que é compartilhado por todos os componentes. Mas na sua, 'Completo' parece ser o único que NÃO é compartilhado por cada componente. Eu apenas sinto que esses 2 são contraditórios. (Tenho certeza de que estou perdendo alguma coisa). Você se importa de explicar isso? Muito obrigado.

— Bee

Não vejo nenhuma contradição: representei fielmente precisamente as condições que você descreve. Na verdade, não me referi a nenhuma outra fonte para criar essas imagens.

— whuber

Obrigado - entendo o que você quer dizer. Vou atualizar a explicação para refletir isso.

— whuber