Referências que justificam o uso de misturas gaussianas

Os modelos de mistura gaussiana (GMMs) são atraentes porque são simples de trabalhar tanto analiticamente quanto na prática e são capazes de modelar algumas distribuições exóticas sem muita complexidade. Há algumas propriedades analíticas que devemos esperar manter que não são claras em geral. Em particular:

Diga $S_n$ é a classe de todas as misturas gaussianas com $n$ componentes. Para qualquer distribuição contínua $P$ sobre os reais, temos a garantia de que, à medida que $n$ cresce, podemos aproximar $P$ com um GMM com perda insignificante no sentido de entropia relativa? Isto é, faz $lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$
Dizer que temos uma distribuição contínua $P$ e encontrámos uma $N$ -component Gaussiana mistura que está próximo de na variação total: . Podemos obrigado em termos de ? $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$
Se quisermos observar $X\sim P_X$ através de ruído aditivo independente $Y\sim P_Y$ (real, contínua), e temos MGM onde , então esse valor é pequeno: $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ $\delta(P,Q)<\epsilon$ $| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ Ou seja, é verdade que a estimativa $X$ através de $Y$ de ruído é de cerca de tão duro como a estimativa de através ruído? $\hat{X}$ $\hat{Y}$
Você pode fazer isso para modelos de ruído não aditivo como o ruído de Poisson?

Até agora, minha (curta) revisão de literatura acabou com tutoriais muito aplicados. Alguém tem alguma referência que demonstre rigorosamente sob quais condições somos justificados no uso de modelos de mistura?

— entenda
fonte

O conjunto de GMMs é denso no conjunto de distribuições na topologia fraca (correspondente à convergência na distribuição); veja por exemplo aqui . Eu não tenho certeza se a sua primeira afirmação é, embora certamente exigiria permitindo que componentes de variância zero na mistura para lidar com quaisquer pontos de massa em

. Também sou cético em relação ao segundo ponto, novamente por causa da questão das massas pontuais.

P

$P$

— Dougal 27/01

Bom ponto, eu especifiquei tudo deve ser contínua

— enthdegree

Você pode ter melhor sorte olhando a literatura sobre estimativa de densidade de kernel com núcleos gaussianos. Como você tem uma mistura de gaussianos com um por amostra, à medida que o número de amostras aumenta, você obtém um estimador assintoticamente imparcial e consistente da distribuição? Acho que a resposta é sim, mas não foi possível encontrar uma referência imediatamente.

— precisa saber é o seguinte

@enthdegree: Muito boa pergunta. Como você deseja usar topologias fortes (divergência de KL e variação total), a resposta geral para seus dois primeiros pontos é não: por exemplo, considere uma distribuição de cauda gorda; O KL para qualquer mistura gaussiana finita é infinito (eu tenho certeza que isso funciona, embora não seja 100%). Mas isso leva a uma pergunta muito mais interessante, para qual subclasse de distribuições de probabilidade todos os seus pontos-chave seriam aplicados? Não sei a resposta, mas parece extremamente interessante. Meu palpite é que provavelmente são quase todas as distribuições de probabilidade.

— Guillaume Dehaene 03/02

Tomei uma aula com este livro. link Ele tem um histórico decente sobre os fundamentos.

— EngrStudent - Restabelece Monica

Respostas:

Em econometria, onde o contexto é de distribuições mistas de coeficientes em modelos logit, a referência padrão é: MODELOS MNL MISTOS PARA RESPOSTA DISCRETA DANIEL MCFADDEN E TREM KENNETH, REVISTA DE ECONOMETRIA APLICADA, J. Appl. Econ. 15: 447-470 (2000).

— Tim
fonte

Com relação às suas perguntas:

Para o problema bayesiano muito semelhante da mistura de gaussianos do Dirichlet Process, entendo que a resposta é sim. Ghosal (2013) .
Quando participei de algumas palestras sobre esse tópico, parecia que o progresso havia sido feito principalmente com a divergência de KL. Veja os slides de Harry van Zanten .
Eu não estou claro. No entanto, isso parece um problema de separação de fontes ( desconhecido). Estes são geralmente muito mais difíceis do que a modelagem de mistura sozinha. Em particular, no caso simples de você não seria capaz de identificar os verdadeiros e $P_N, P_S$ $P_N = P_S = N(0,1)$ $X$ $Y$ devido à simetria das distribuições em torno de zero.
Veja o quarto dos slides acima, há uma lista de modelos bayesianos para os quais as garantias de convergência são válidas.

— conjecturas
fonte

Aqui está uma resposta parcial.

Diga é a classe de todas as misturas gaussianas com componentes. Para qualquer distribuição contínua sobre os reais, temos a garantia de que, à medida que cresce, podemos aproximar com um GMM com perda insignificante no sentido de entropia relativa? Ou seja, faz $S_n$ $n$ $P$ $n$ $P$
$lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$

Não. Você só pode esperar que um KL divergência é pequeno se você sabe que 'caudas s, eventualmente, são da mesma ordem que ' s. Isso não é verdade em geral. Não é difícil de perceber que para de Cauchy, em seguida, para qualquer , $D(P\|Q)$ $Q$ $P$ $P$ $n$

inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = \infty

$\inf_{\hat{P}\in S_n} D(P||\hat{P})=\infty$

São necessárias mais condições em para dizer isso. $P$

Dizer que temos uma distribuição contínua e encontrámos uma -component Gaussiana mistura que está próximo de na variação total: . Podemos obrigado em termos de ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$

Não. O mesmo exemplo acima se aplica.

$X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$ $\delta(P,Q)<\epsilon$
$| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$

$X,Y,\hat{X},\hat{Y}$ $E[X|Y]$ $E[\hat{X}|\hat{Y}]$ $|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$ $TV(P,Q)$

Não pude provar isso, em geral, ou usando a estrutura aditiva extra que assumimos em P, Q, ou apresentar quaisquer contra-exemplos.

Você pode fazer isso para modelos de ruído não aditivo como o ruído de Poisson?

Isso é ambíguo. No contexto da pergunta anterior, se a afirmação nessa resposta puder ser comprovada em geral, então a resposta é sim.

— entenda
fonte