Por que o PCA probabilístico usa variáveis ​​gaussianas anteriores sobre variáveis ​​latentes?

Atualmente, estou lendo artigos sobre PCA probabilístico e me pergunto por que o prior gaussiano (e não outro prior) é escolhido para as variáveis ​​latentes? É apenas porque é simples ou há outro motivo?

Referências:

• Tipping & Bishop, 1999, Análise Probabilística de Componentes Principais - logo abaixo da eq. 2)
• Tipping & Bishop, 1999, Misturas de analisadores probabilísticos de componentes principais - eq. (4)

PCA probabilístico

O PCA probabilístico é um modelo de variável latente gaussiana do seguinte formulário. Observações consistem em variáveis , variáveis ​​latentes são assumidas como consistindo em variáveis; as variáveis ​​anteriores sobre latentes são uma covariância de unidade zero com média zero Gaussiana: e a distribuição condicional das variáveis ​​observadas, dadas as variáveis ​​latentes, é Acontece que a solução de máxima verossimilhança para esse modelo é fornecida pelos primeiros componentes PCA dos dados: colunas de D z ∈ R M M < D z ∼ N ( 0 , I ) $\mathbf x \in \mathbb R^D$$D$$\mathbf z \in \mathbb R^M$$M<D$

$$\mathbf z \sim \mathcal N(\mathbf 0, \mathbf I),$$ $$\mathbf x | \mathbf z \sim \mathcal N(\mathbf W\mathbf z+\boldsymbol \mu, \sigma^2 \mathbf I).$$ $M$$\mathbf W_\text{ML}$ são proporcionais aos principais vetores próprios da matriz de covariância (eixos principais). Veja Tipping & Bishop para detalhes.

Por que usar Gaussian antes?

1. Para qualquer outro anterior (ou pelo menos para a maioria dos outros anteriores), a solução de máxima verossimilhança não corresponderá à solução padrão de PCA, portanto não haveria razão para chamar esse modelo de variável latente de "PCA probabilístico". Gaussian priori é o que dá origem ao PCA.$\mathcal N(\mathbf 0, \mathbf I)$

2. A maioria dos outros anteriores tornaria o problema muito mais complicado ou até intratável analiticamente. Ter uma distribuição condicional gaussiana anterior e gaussiana leva à distribuição marginal gaussiana , e é fácil ver que sua matriz de covariância será dada por . As distribuições não gaussianas são muito mais difíceis de trabalhar.$p(\mathbf x)$$\mathbf W^\top \mathbf W + \sigma^2\mathbf I$

3. Ter distribuição marginal gaussiana também é atraente porque a tarefa do PCA padrão é modelar a matriz de covariância (isto é, o segundo momento); O PCA não está interessado em momentos mais altos da distribuição de dados. A distribuição gaussiana é completamente descrita pelos dois primeiros momentos: média e covariância. Não queremos usar distribuições mais complicadas / flexíveis, porque o PCA não está lidando com esses aspectos dos dados.$p(\mathbf x)$

4. O anterior tem Gaussiana matriz covariância unidade porque a ideia é ter variáveis não correlacionadas latentes que originam as covariâncias observados apenas através de cargas de .$\mathbf W$