Valor esperado de x em uma distribuição normal, Dado que está abaixo de um determinado valor

Basta saber se é possível encontrar o valor esperado de x se ele é normalmente distribuído, dado que está abaixo de um determinado valor (por exemplo, abaixo do valor médio).

normal-distribution conditional-probability expected-value

— Jasmim
fonte

É claro que é possível. No mínimo, você pode calcular pela força bruta

F (t)^{- 1} \int_{- \infty}^{x} t f (t) d t

$F(t)^{-1} \int_{- \infty}^{x} t f(t) dt$ . Ou, se você conhece

μ

$\mu$ e

σ

$\sigma$ pode estimar usando uma simulação.

— dsaxton

@dsaxton Existem alguns erros de digitação nessa fórmula, mas entendemos a ideia. O que estou curioso é como exatamente você executaria a simulação quando o limite estiver muito abaixo da média.

— whuber

@whuber Sim,

F (t)

$F(t)$ deve ser

F (x)

$F(x)$ . Não seria muito inteligente fazer uma simulação quando

F (x)

$F(x)$ estiver próximo de zero, mas como você apontou, existe uma fórmula exata de qualquer maneira.

— dsaxton

@dsaxton OK, é justo. Eu só esperava que você tivesse em mente algum tipo de idéia inteligente e simples para simular a partir de uma distribuição normal.

— whuber

Mais ou menos a mesma pergunta em Math.SE: math.stackexchange.com/questions/749664/average-iq-of-mensa

— Jik

Respostas:

Uma variável normalmente distribuída com média e variância tem a mesma distribuição que onde é uma variável normal padrão. Tudo o que você precisa saber sobre é que $X$ $\mu$ $\sigma^2$ $\sigma Z + \mu$ $Z$ $Z$

sua função de distribuição cumulativa é chamada , $\Phi$
tem uma função de densidade de probabilidade e que $\phi(z) = \Phi^\prime(z)$
. $\phi^\prime(z) = -z \phi(z)$

As duas primeiras balas são apenas notação e definições: a terceira é a única propriedade especial das distribuições normais que precisaremos.

Deixe o "certo valor" ser . Antecipando a mudança de para , defina $T$ $X$ $Z$

t = (T - μ) / σ,

$t = (T-\mu)/\sigma,$

de modo a

Pr (X \leq T) = Pr (Z \leq t) = Φ (t) .

$\Pr(X \le T) = \Pr(Z \le t) = \Phi(t).$

Então, começando com a definição da expectativa condicional, podemos explorar sua linearidade para obter

\begin{aligned} E (X | X \leq T) & = E (σ Z + μ | Z \leq t) = σ E (Z | Z \leq t) + μ E (1 | Z \leq t) \\ = (σ \int_{- \infty}^{t} z ϕ (z) d z + μ \int_{- \infty}^{t} ϕ (z) d z) / Pr (Z \leq t) \\ = (- σ \int_{- \infty}^{t} ϕ^{'} (z) d z + μ \int_{- \infty}^{t} Φ^{'} (z) d z) / Φ (t) . \end{aligned}

$\eqalign{ \mathbb{E}(X\,|\, X \le T) &= \mathbb{E}(\sigma Z + \mu \,|\, Z \le t) = \sigma \mathbb{E}(Z \,|\, Z \le t) + \mu \mathbb{E}(1 \,|\, Z \le t) \\ &= \left(\sigma \int_{-\infty}^t z \phi(z) dz + \mu \int_{-\infty}^t \phi(z) dz \right) / \Pr(Z \le t)\\ &=\left(-\sigma \int_{-\infty}^t \phi^\prime(z) dz + \mu \int_{-\infty}^t \Phi^\prime(z) dz\right) / \Phi(t). }$

O teorema fundamental do Cálculo afirma que qualquer integrante de um derivado é encontrado através da avaliação da função nos pontos finais: . Isso se aplica a ambas as integrais. Como ambos e devem desaparecer em , obtemos $\int_a^b F^\prime(z) dz = F(b) - F(a)$ $\Phi$ $\phi$ $-\infty$

E (X | X \leq T) = μ - σ \frac{ϕ (t)}{Φ (t)} .

$\mathbb{E}(X\,|\, X \le T) = \mu - \sigma \frac{\phi\left(t\right)}{\Phi\left(t\right)}.$

É a média original menos um termo de correção proporcional à relação Invers Mills .

Como seria de esperar, a razão inversa de Mills para deve ser positiva e exceder (cujo gráfico é mostrado com uma linha vermelha pontilhada). Ele deve diminuir para à medida que cresce, pois o truncamento em (ou ) não muda quase nada. Como cresce muito negativo, a razão inversa de Mills deve se aproximar porque as caudas da distribuição normal diminuem tão rapidamente que quase toda a probabilidade na cauda esquerda está concentrada perto do seu lado direito (em ). $t$ $-t$ $0$ $t$ $Z=t$ $X=T$ $t$ $-t$ $t$

Finalmente, quando está na média, onde a razão inversa de moinhos é igual a $T = \mu$ $t=0$ . Isso implica que o valor esperado de, truncado em sua média (que é o negativo de umadistribuição semi-normal), é $\sqrt{2/\pi} \approx 0.797885$ $X$ vezes seu desvio padrão abaixo da média original. $-\sqrt{2/\pi}$

— whuber
fonte

Em geral, deixe ter a função de distribuição . $X$ $F(X)$

Temos, para , $x\in[c_1,c_2]$ Você pode obter casos especiais considerando, por exemplo,, que produz.

\begin{array}{rcl} P (X \leq x | c_{1} \leq X \leq c_{2}) & = & \frac{P (X \leq x \cap c_{1} \leq X \leq c_{2})}{P (c_{1} \leq X \leq c_{2})} = \frac{P (c_{1} \leq X \leq x)}{P (c_{1} \leq X \leq c_{2})} \\ = & \frac{F (x) - F (c_{1})}{F (c_{2}) - F (c_{1})} \end{array}

$\begin{eqnarray*} P(X\leq x|c_1\leq X \leq c_2)&=&\frac{P(X\leq x\cap c_1\leq X \leq c_2)}{P(c_1\leq X \leq c_2)}=\frac{P(c_1\leq X \leq x)}{P(c_1\leq X \leq c_2)}\\&=&\frac{F(x)-F(c_1)}{F(c_2)-F(c_1)} \end{eqnarray*}$

c_{1} = - \infty

$c_1=-\infty$

F (c_{1}) = 0

$F(c_1)=0$

Usando cdfs condicionais, você pode obter densidades condicionais (por exemplo, para ), que podem ser usadas para expectativas condicionais. $f(x|X<0)=2\phi(x)$ $X\sim N(0,1)$

E (X | X < 0) = 2 \int_{- \infty}^{0} x ϕ (x) = - 2 ϕ (0),

$E(X|X<0)=2\int_{-\infty}^0x\phi(x)=-2\phi(0),$

— Christoph Hanck
fonte

+1 (de alguma forma, eu perdi isso quando apareceu pela primeira vez). A primeira parte é um excelente relato de como obter funções de distribuição truncadas e a segunda mostra como calcular seus PDFs.

— whuber