Por que uma mistura de duas variáveis normalmente distribuídas é apenas bimodal se suas médias diferem em pelo menos duas vezes o desvio padrão comum?

28

Sob mistura de duas distribuições normais:

https://en.wikipedia.org/wiki/Multimodal_distribution#Mixture_of_two_normal_distributions

"Uma mistura de duas distribuições normais tem cinco parâmetros para estimar: as duas médias, as duas variações e o parâmetro de mistura. Uma mistura de duas distribuições normais com desvios padrão iguais é bimodal somente se suas médias diferirem pelo menos duas vezes o desvio padrão comum . "

Estou procurando uma derivação ou explicação intuitiva sobre por que isso é verdade. Acredito que possa ser explicado na forma de um teste t de duas amostras:

\frac{μ_{1} - μ_{2}}{σ_{p}}

$\frac{\mu_1-\mu_2}{\sigma_p}$

onde $\sigma_p$ é o desvio padrão combinado.

bimodal

— M Waz
fonte

1

a intuição é que, se os meios estiverem muito próximos, haverá muita sobreposição na massa das 2 densidades, de modo que a diferença nos meios não será vista porque a diferença será apenas identificada com a massa dos dois densidades. Se os dois meios são diferentes o suficiente, então as massas das duas densidades não se sobrepõem muito e a diferença nos meios será discernível. Mas eu gostaria de ver uma prova matemática disso. É uma afirmação interessante. Eu nunca vi isso antes.

— mlofton 5/07

2

Mais formalmente, para uma mistura 50:50 de duas distribuições normais com o mesmo SD

se você escrever a densidade

na forma completa, mostrando os parâmetros, verá que sua segunda derivada muda de sinal no ponto médio entre as duas médias quando a distância entre médias aumenta de abaixo de

para cima.

σ,

$\sigma,$

f (x) = 0.5 g_{1} (x) + 0.5 g_{2} (x)

$f(x) = 0.5g_1(x) + 0.5g_2(x)$

2 σ

$2\sigma$

— BruceET

1

Consulte "Critério de Rayleigh", en.wikipedia.org/wiki/Angular_resolution#Explanation

— Carl Witthoft em

53

Esta figura do artigo vinculado nesse artigo da wiki fornece uma boa ilustração:

A prova que eles fornecem é baseada no fato de que as distribuições normais são côncavas dentro de um DP de sua média (o DP é o ponto de inflexão do pdf normal, de onde ele vai de côncavo a convexo). Assim, se você adicionar dois PDFs normais (em proporções iguais), desde que suas médias diferam em menos de dois DPs, a soma-pdf (ou seja, a mistura) será côncava na região entre os dois meios e, portanto, o máximo global deve estar no ponto exatamente entre as duas médias.

Referência: Schilling, MF, Watkins, AE, & Watkins, W. (2002). A altura humana é bimodal? The American Statistician, 56 (3), 223-229. doi: 10.1198 / 00031300265

— Ruben van Bergen
fonte

11

+1 Este é um argumento agradável e memorável.

— whuber

2

A legenda da figura também fornece uma boa ilustração da ligadura 'fl' sendo processada incorretamente em 'inflexão' :-P

— nekomatic 08/07

2

@Axeman: Obrigado por adicionar essa referência - já que isso explodiu um pouco, eu estava planejando adicioná-la, já que estou apenas repetindo o argumento deles e não quero levar muito crédito por isso.

— Ruben van Bergen em

14

É um caso em que as imagens podem enganar, porque esse resultado é uma característica especial das misturas normais : um analógico não se aplica necessariamente a outras misturas, mesmo quando os componentes são distribuições unimodais simétricas! Por exemplo, uma mistura igual de duas distribuições de Student t separadas por um pouco menos que o dobro do seu desvio padrão comum será bimodal. Para uma percepção real, precisamos fazer algumas contas ou apelar para propriedades especiais das distribuições normais.

Escolher as unidades de medição (por recentragem e rescaling conforme necessário) para colocar os meios das distribuições dos componentes em $\pm\mu,$ $\mu\ge 0,$ e para fazer a sua unidade variância comum. Seja $p,$ $0 \lt p \lt 1,$ a quantidade do componente médio maior na mistura. Isso nos permite expressar a densidade da mistura em plena generalidade como

\sqrt{2 π} f (x; μ, p) = p \exp (- \frac{(x - μ)^{2}}{2}) + (1 - p) \exp (- \frac{(x + μ)^{2}}{2}) .

$\sqrt{2\pi}f(x;\mu,p) = p \exp\left(-\frac{(x-\mu)^2}{2}\right) + (1-p) \exp\left(-\frac{(x+\mu)^2}{2}\right).$

Como as densidades de ambos os componentes aumentam onde $x\lt -\mu$ e diminuem onde $x\gt \mu,$ os únicos modos possíveis ocorrem onde $-\mu\le x \le \mu.$ Encontre-os diferenciando $f$ em relação a $x$ e configurando-o para zero. Limpando quaisquer coeficientes positivos obtidos

0 = - e^{2 x μ} p (x - μ) + (1 - p) (x + μ) .

$0 = -e^{2x\mu} p(x-\mu) + (1-p)(x+\mu).$

$f$ $e^{2x\mu}$

f^{''} (x; μ, p) \propto \frac{(1 + x^{2} - μ^{2})}{x - μ} .

$f^{\prime\prime}(x;\mu,p) \propto \frac{(1+x^2-\mu^2)}{x-\mu}.$

$-\mu\lt x \lt \mu,$ $f^{\prime\prime}$ $-(1-\mu^2 + x^2).$ $\mu\le 1,$ $\mu$ $1$

$2\mu,$

Uma mistura de distribuições normais é unimodal sempre que as médias são separadas por não mais que o dobro do desvio padrão comum.

Isso é logicamente equivalente à afirmação na pergunta.

— whuber
fonte

12

Comentário acima colado aqui para continuidade:

f (x) = 0.5 g_{1} (x) + 0.5 g_{2} (x)

$f(x)=0.5g_1(x)+0.5g_2(x)$

Comentário continuado:

$\sigma=1.$ $3\sigma, 2\sigma,$ $\sigma,$

Código R para a figura:

par(mfrow=c(1,3))
  curve(dnorm(x, 0, 1)+dnorm(x,3,1), -3, 7, col="green3", 
    lwd=2,n=1001, ylab="PDF", main="3 SD: Dip")
  curve(dnorm(x, .5, 1)+dnorm(x,2.5,1), -4, 7, col="orange", 
    lwd=2, n=1001,ylab="PDF", main="2 SD: Flat")
  curve(dnorm(x, 1, 1)+dnorm(x,2,1), -4, 7, col="violet", 
    lwd=2, n=1001, ylab="PDF", main="1 SD: Peak")
par(mfrow=c(1,3))

— BruceET
fonte

1

todas as respostas foram ótimas. obrigado.

— mlofton 6/07

3

2 / 3

$2/3$

0.001.

$0.001.$

1

0.1 %

$0.1\%$

f

$f$

x_{0})

$x_0)$

f (x_{0}) - f (x) \leq 0.001 f (x_{0}) ⟺ | x - x_{0} | \leq 0.333433,

$f(x_0)-f(x)\le 0.001 f(x_0)\ \iff\ |x-x_0|\le 0.333433,$

0.001

$0.001$

0.95832

$0.95832$

f (x_{0}) - f (x) \leq 0.001 ⟺ | x - x_{0} | \leq 0.47916.

$f(x_0)-f(x)\le 0.001\ \iff\ |x-x_0|\le 0.47916.$

Bons pontos. Na verdade, o que eu quis dizer com linguagem abreviada 'flat' era zero segunda derivada exatamente no ponto médio.

— BruceET

Por que uma mistura de duas variáveis ​​normalmente distribuídas é apenas bimodal se suas médias diferem em pelo menos duas vezes o desvio padrão comum?

Por que uma mistura de duas variáveis normalmente distribuídas é apenas bimodal se suas médias diferem em pelo menos duas vezes o desvio padrão comum?