Qual é a variação da mistura ponderada de dois gaussianos?

Digamos que eu tenha duas distribuições normais A e B com médias e e variações e . Quero dar uma mistura ponderada destas duas distribuições utilizando pesos e onde e . Eu sei que a média dessa mistura seria . $\mu_A$ $\mu_B$ $\sigma_A$ $\sigma_B$ $p$ $q$ $0\le p \le 1$ $q = 1-p$ $\mu_{AB} = (p\times\mu_A) + (q\times\mu_B)$

Qual seria a variação?

Um exemplo concreto seria se eu conhecesse os parâmetros para a distribuição da altura masculina e feminina. Se eu tivesse uma sala com 60% de homens, eu poderia produzir a altura média esperada para toda a sala, mas e a variação?

normal-distribution mixture

— JoFrhwld
fonte

Re terminologia: A mistura simplesmente tem uma média e uma variação; não há sentido na qualificação destes como "espera", a menos que você talvez insinuando que

p

$p$ e

q

$q$ devem ser consideradas variáveis aleatórias.

— whuber

Eu sei que a mistura de duas distribuições gaussianas é identificável. Mas se as duas distribuições tiverem os mesmos emans? Ou seja :, é identificável a mistura de duas distribuições normais com os mesmos meios e diferentes desvios-padrão? Existem trabalhos neste contexto? Obrigado antecipadamente

Há uma pergunta semelhante com respostas (que lidam também com as covariâncias) aqui: math.stackexchange.com/q/195911/96547

— hplieninger

A variação é o segundo momento menos o quadrado do primeiro momento; portanto, basta calcular os momentos das misturas.

Em geral, dadas as distribuições com PDFs e pesos constantes (não aleatórios) , o PDF da mistura é $f_i$ $p_i$

f (x) = \sum_{i} p_{i} f_{i} (x),

$f(x) = \sum_i{p_i f_i(x)},$

do qual resulta imediatamente para qualquer momento que $k$

μ^{(k)} = E_{f} [x^{k}] = \sum_{i} p_{i} E_{f_{i}} [x^{k}] = \sum_{i} p_{i} μ_{i}^{(k)} .

$\mu^{(k)} = \mathbb{E}_{f}[x^k] = \sum_i{p_i \mathbb{E}_{f_i}[x^k]} = \sum_i{p_i \mu_i^{(k)}}.$

Escrevi para o momento de e para o momento de . $\mu^{(k)}$ $k^{th}$ $f$ $\mu_i^{(k)}$ $k^{th}$ $f_i$

Usando essas fórmulas, a variação pode ser escrita

Var (f) = μ^{(2)} - {(μ^{(1)})}^{2} = \sum_{i} p_{i} μ_{i}^{(2)} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} .

$\text{Var}(f) = \mu^{(2)} - \left(\mu^{(1)}\right)^2 = \sum_i{p_i \mu_i^{(2)}} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2.$

Equivalentemente, se as variações de são dadas como , então , permitindo que a variação da mistura seja escrita em termos de variações e meios de seus componentes como $f_i$ $\sigma^2_i$ $\mu^{(2)}_i = \sigma^2_i + \left(\mu^{(1)}_i\right)^2$ $f$

\begin{aligned} Var (f) & = \sum_{i} p_{i} (σ_{i}^{2} + {(μ_{i}^{(1)})}^{2}) - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} \\ = \sum_{i} p_{i} σ_{i}^{2} + \sum_{i} p_{i} {(μ_{i}^{(1)})}^{2} - {(\sum_{i} p_{i} μ_{i}^{(1)})}^{2} . \end{aligned}

$\eqalign{ \text{Var}(f) &= \sum_i{p_i \left(\sigma^2_i + \left(\mu^{(1)}_i\right)^2\right)} - \left(\sum_i{p_i \mu_i^{(1)}}\right)^2 \\ &= \sum_i{p_i \sigma^2_i} + \sum_i{p_i\left(\mu_i^{(1)}\right)^2} - \left(\sum_{i}{p_i \mu_i^{(1)}}\right)^2. }$

Em palavras, essa é a variação média (ponderada) mais a média quadrática média menos o quadrado da média média. Como o quadrado é uma função convexa, a Desigualdade de Jensen afirma que a média quadrática média não pode ser menor que o quadrado da média média. Isso nos permite entender a fórmula como declarar que a variação da mistura é a mistura das variações mais um termo não negativo que explica a dispersão (ponderada) dos meios.

No seu caso, a variação é

p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + [p_{A} μ_{A}^{2} + p_{B} μ_{B}^{2} - (p_{A} μ_{A} + p_{B} μ_{B})^{2}] .

$p_A \sigma_A^2 + p_B \sigma_B^2 + \left[p_A\mu_A^2 + p_B\mu_B^2 - (p_A \mu_A + p_B \mu_B)^2\right].$

Podemos interpretar que essa é uma mistura ponderada das duas variâncias, , mais um termo de correção (necessariamente positivo) para levar em conta as mudanças das médias individuais em relação à média geral da mistura. $p_A\sigma_A^2 + p_B\sigma_B^2$

A utilidade dessa variação na interpretação dos dados, como a apresentada na pergunta, é duvidosa, porque a distribuição da mistura não será Normal (e pode se afastar substancialmente dela, na medida em que a bimodalidade seja exibida).

— whuber
fonte

Em particular, observando que

, sua última expressão simplifica para

p_{A} + p_{B} = 1

$p_A+p_B=1$

σ^{2} = μ^{(2)} - μ^{2} = p_{A} σ_{A}^{2} + p_{B} σ_{B}^{2} + p_{A} p_{B} (μ_{A} - μ_{B})^{2}

$\sigma^2=\mu^{(2)}-\mu^2=p_A\sigma_A^2+p_B\sigma_B^2+p_Ap_B(\mu_A-\mu_B)^2$

— Ilmari Karonen

Ou, se impusermos uma explicação probabilística para uma densidade de mistura (existe um evento

de probabilidade

e a densidade condicional de

dada

enquanto a densidade condicional de

dada

) e, em seguida, var

A

$A$

p_{A}

$p_A$

X

$X$

A

$A$

N (μ_{A}, σ_{A}^{2})

$N(\mu_A,\sigma_A^2)$

X

$X$

A^{c} = B

$A^c = B$

N (μ_{B}, σ_{B}^{2})

$N(\mu_B,\sigma_B^2)$

(X)

$(X)$ é a soma da média da variação condicional mais a variação da média condicional. O último é um RV discreta

com valores

com probabilidades

e a sua expressão em colchetes é prontamente reconhecido para ser

Y

$Y$

μ_{A}, μ_{B}

$\mu_A, \mu_B$

p

$p$

q

$q$

E [Y^{2}] - (E [Y])^{2}

$E[Y^2]-(E[Y])^2$

— Dilip Sarwate

@ Neodyme Por definição, a variação é o segundo momento menos a média ao quadrado. Portanto, o segundo momento é a variação mais a média ao quadrado.

— whuber

@ Neodyme use

E (X) = μ

$E(X)=\mu$

— whuber

@ Kiran Embora em alguns casos a mistura possa parecer normal, não será. Uma maneira de ver isso é calcular o excesso de curtose usando as fórmulas fornecidas aqui. Será diferente de zero, a menos que todos os desvios padrão sejam iguais - nesse caso, a "mistura" não é realmente uma mistura em primeiro lugar.

— whuber