Uma generalização da Lei das Expectativas Iteradas

43

Recentemente me deparei com essa identidade:

E [E (Y | X, Z) | X] = E [Y | X]

$E \left[ E \left(Y|X,Z \right) |X \right] =E \left[Y | X \right]$

Obviamente, eu estou familiarizado com a versão mais simples dessa regra, a saber, que mas não consegui encontrar justificativa para sua generalização. $E \left[ E \left(Y|X \right) \right]=E \left(Y\right)$

Ficaria grato se alguém pudesse me indicar uma referência não tão técnica para esse fato ou, melhor ainda, se alguém pudesse apresentar uma prova simples desse importante resultado.

self-study conditional-probability conditional-expectation

— JohnK
fonte

2

Se o próprio estivesse condicionado a algum , isso não sairia exatamente da versão mais simples?

y

$y$

x

$x$

— Mehrdad

36

TRATAMENTO INFORMAL

Devemos lembrar que a notação em que condicionamos as variáveis aleatórias é imprecisa, embora econômica, como notação. Na realidade, condicionamos na sigma-álgebra que essas variáveis aleatórias geram. Em outras palavras, significa . Essa observação pode parecer deslocada em um "Tratamento Informal", mas nos lembra que nossas entidades condicionantes são coleções de conjuntos (e quando condicionamos em um único valor, esse é um conjunto único). E o que esses conjuntos contêm? Eles contêm a informação com a qual os valores possíveis da variável aleatória fornecer-nos sobre o que pode acontecer com a realização de . $E[Y\mid X]$ $E[Y\mid \sigma(X)]$ $X$ $Y$
A introdução do conceito de informação nos permite pensar (e usar) a Lei das Expectativas Iteradas (às vezes chamada de "Propriedade da Torre") de uma maneira muito intuitiva:
a álgebra sigma gerada por duas variáveis aleatórias é pelo menos tão grande como aquele gerado por uma variável aleatória: no significado apropriado da teoria dos conjuntos. Portanto, as informações sobre contidas em são pelo menos tão grandes quanto as informações correspondentes em . Agora, como sugestão notacional, defina e . Então o LHS da equação que estamos olhando, pode ser escrito $\sigma (X) \subseteq \sigma(X,Z)$ $Y$ $\sigma(X,Z)$ $\sigma (X)$
$\sigma (X) \equiv I_x$ $\sigma(X,Z) \equiv I_{xz}$

E [E (Y | I_{x z}) | I_{x}]

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right]$ Descrevendo verbalmente a expressão acima, temos: "qual é a expectativa de {o valor esperado de dada a informação } dado que temos informações disponíveis apenas ? "

Y

$Y$

I_{x z}

$I_{xz}$

I_{x}

$I_x$

De alguma forma, podemos "levar em conta" ? Não - só sabemos . Mas se usarmos o que temos (como somos obrigados pela expressão que queremos resolver), então estamos essencialmente dizendo coisas sobre sob o operador de expectativas, ou seja, dizemos " ", não mais - acabamos de esgotar nossas informações. $I_{xz}$ $I_x$ $Y$ $E(Y\mid I_x)$

Portanto,

E [E (Y | I_{x z}) | I_{x}] = E (Y | I_{x})

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right] = E\left(Y|I_{x} \right)$

Se alguém não o fizer, voltarei para o tratamento formal.

A (pouco mais) TRATAMENTO FORMAL

Vejamos como dois livros muito importantes da teoria das probabilidades, Probabilidade e Medida de P. Billingsley (3d ed.-1995) e D. Williams "Probabilidade com Martingales" (1991), tratam a questão de provar a "Lei das Expectativas Iteradas":
Billingsley dedica exatamente três linhas à prova. Williams, e cito, diz

"(a propriedade da torre) é praticamente imediata a partir da definição de expectativa condicional".

Essa é uma linha de texto. A prova de Billingsley não é menos opaca.

É claro que eles estão certos: essa propriedade importante e muito intuitiva da expectativa condicional deriva essencialmente diretamente (e quase imediatamente) de sua definição - o único problema é que suspeito que essa definição não seja normalmente ensinada, ou pelo menos não destacada, pela probabilidade externa ou medir círculos teóricos. Mas, para mostrar (quase) três linhas que a Lei das Expectativas Iteradas mantém, precisamos da definição de expectativa condicional, ou melhor, de sua propriedade definidora .

Deixe um espaço de probabilidade , e uma variável aleatória integrável . Vamos ser um sub- -álgebra de , . Existe uma função que é mensurável, é integrável e (esta é a propriedade que define) $(\Omega, \mathcal F, \mathbf P)$ $Y$ $\mathcal G$ $\sigma$ $\mathcal F$ $\mathcal G \subseteq \mathcal F$ $W$ $\mathcal G$

E (W \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in G [1]

$E(W\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal G \qquad [1]$

onde é a função de indicador do conjunto . Dizemos que é ("uma versão de") a expectativa condicional de dada , e escrevemos O detalhe crítico a ser observado aqui é que a expectativa condicional , tem o mesmo valor esperado como faz, não apenas sobre toda a , mas em cada subconjunto de . $1_{G}$ $G$ $W$ $Y$ $\mathcal G$ $W = E(Y\mid \mathcal G) \;a.s.$
$Y$ $\mathcal G$ $G$ $\mathcal G$

(Tentarei agora apresentar como a propriedade Tower deriva da definição de expectativa condicional).

$W$ é uma variável aleatória mensurávelConsidere então alguns sub- -álgebra, dizer . Em seguida, . Portanto, de maneira análoga à anterior, temos a expectativa condicional de dada , digamos isso é caracterizado por $\mathcal G$ $\sigma$ $\mathcal H \subseteq \mathcal G$ $G\in \mathcal H \Rightarrow G\in \mathcal G$ $W$ $\mathcal H$ $U=E(W\mid \mathcal H) \;a.s.$

E (U \cdot 1_{G}) = E (W \cdot 1_{G}) \forall G \in H [2]

$E(U\cdot\mathbb 1_{G}) = E(W\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [2]$

Como , as equações e nos dão $\mathcal H \subseteq \mathcal G$ $[1]$ $[2]$

E (U \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in H [3]

$E(U\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [3]$

Mas esta é a propriedade que define a esperança condicional de dada . $Y$ $\mathcal H$ Portanto, temos o direito de escrever uma vez que também tem por construção , que apenas se mostrou a propriedade de torre, ou o forma geral da Lei das Expectativas Iteradas - em oito linhas. $U=E(Y\mid \mathcal H)\; a.s.$
$U = E(W\mid \mathcal H) = E\big(E[Y\mid \mathcal G]\mid \mathcal H\big)$

— Alecos Papadopoulos
fonte

6

(+1) Esta é uma maneira útil de descrever um conceito abstrato e difícil. Acredito, porém, que a frase "... não é maior ..." deveria ser "não é menor". Melhor ainda, essa seção poderia ser esclarecida removendo os negativos e usando uma construção paralela, como em "A álgebra sigma gerada por duas variáveis é pelo menos tão grande quanto a gerada por uma variável aleatória ... Portanto, as informações sobre continham in é pelo menos tão grande quanto a informação correspondente em . "

Y

$Y$

σ (X, Z)

$\sigma(X,Z)$

σ (X)

$\sigma(X)$

— whuber

Obrigado a ambos, cc @whuber. Este é um teorema muito útil.

— JohnK

@ whuber Obrigado por detectar isso - e pela sugestão.

— Alecos Papadopoulos

24

A maneira como entendo a expectativa condicional e ensino meus alunos é a seguinte:

expectativa condicional é uma foto tirada por uma câmera com resolução $E[Y|\sigma(X)]$ $\sigma(X)$

Como mencionado por Alecos Papadopoulos, a notação é mais precisa que . Ao longo da linha da câmera, pode-se pensar em como o objeto original, por exemplo, uma paisagem, cenário. é uma foto tirada por uma câmera com resolução . A expectativa é um operador de média (operador de "desfocagem"?). O cenário pode conter muitas coisas, mas a foto que você tirou usando uma câmera com baixa resolução certamente fará com que alguns detalhes desapareçam, por exemplo, pode haver um OVNI no céu que pode ser visto a olho nu, mas isso não acontece. aparece na sua foto tirada por (iphone 3?) $E[Y|\sigma(X)]$ $E[Y|X]$ $Y$ $E[Y|\sigma(X,Z)]$ $\sigma(X,Z)$

Se a resolução for tão alta que , essa imagem poderá capturar todos os detalhes do cenário real. Neste caso, temos . $\sigma(X,Z)=\sigma(Y)$ $E[Y|\sigma(Y)]=Y$

Agora, pode ser visto como: usando outra câmera com resolução (por exemplo, iphone 1) menor que (por exemplo, iphone 3) e tire uma foto nessa imagem gerada pela câmera com resolução , então deve ficar claro que essa foto na foto deve ser a mesma que você originalmente basta usar uma câmera com baixa resolução no cenário. $E[E[Y|\sigma(X,Z)]|\sigma(X)]$ $\sigma(X)$ $\sigma(X,Z)$ $\sigma(X,Z)$ $\sigma(X)$

Isso fornece intuição em . De fato, essa mesma intuição nos diz que ainda. Isso ocorre porque: se sua primeira foto é tirada pelo iphone 1 (baixa resolução) e agora você deseja usar uma câmera melhor (por exemplo, iphone 3) para gerar outra foto na primeira foto, não há como você pode melhorar a qualidade da primeira foto. $E[E[Y|X,Z]|X]=E[Y|X]$ $E[E[Y|X]|X,Z]=E[Y|X]$

— KevinKim
fonte

2

adoro! :) ótima explicação.

— jessica

1

@jessica Estou feliz que ajuda :-) Levei um tempo para chegar a esta explicação

— KevinKim

21

Na Lei da Expectativa Iterada (LIE), , essa expectativa interna é uma variável aleatória que passa a ser uma função de , digamos , e não uma função de . Que a expectativa desta função de seja igual à expectativa de é uma conseqüência de uma MENTIRA. Tudo isso, de maneira manual, é apenas a afirmação de que o valor médio de pode ser encontrado pela média dos valores médios de em várias condições. Com efeito, tudo isso é apenas uma conseqüência direta da lei da probabilidade total. Por exemplo, se e $E\left[E[Y \mid X]\right] = E[Y]$ $X$ $g(X)$ $Y$ $X$ $Y$ $Y$ $Y$ $X$ $Y$ são variáveis aleatórias discretas com pmf , então \ scriptstyle {\ texto {VD} ~ E [Y \ meados X] ~ \ texto {tem valor} ~ E [Y \ meados X = X] ~ \ texto {quando} ~ X = X} \ final {align} Aviso como essa última expectativa é em relação a ; $p_{X,Y}(x,y)$

\begin{aligned} E [Y] & = \sum_{y} y \cdot p_{Y} (y) & definition \\ = \sum_{y} y \cdot \sum_{x} p_{X, Y} (x, y) & write in terms of joint pmf \\ = \sum_{y} y \cdot \sum_{x} p_{Y ∣ X} (y ∣ X = x) \cdot p_{X} (x) & write in terms of conditional pmf \\ = \sum_{x} p_{X} (x) \cdot \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) & interchange order of summation \\ = \sum_{x} p_{X} (x) \cdot E [Y ∣ X = x] & inner sum is conditional expectation \\ = E [E [Y ∣ X]] & RV E [Y ∣ X] has value E [Y ∣ X = x] when X = x \end{aligned}

$\begin{align} E[Y] &= \sum_y y\cdot p_Y(y) &\scriptstyle{\text{definition}}\\ &= \sum_y y \cdot \sum_x p_{X,Y}(x,y) &\scriptstyle{\text{write in terms of joint pmf}}\\ &= \sum_y y \cdot \sum_x p_{Y\mid X}(y \mid X=x)\cdot p_X(x) &\scriptstyle{\text{write in terms of conditional pmf}}\\ &= \sum_x p_X(x)\cdot \sum_y y \cdot p_{Y\mid X}(y \mid X=x) &\scriptstyle{\text{interchange order of summation}}\\ &= \sum_x p_X(x)\cdot E[Y \mid X = x] &\scriptstyle{\text{inner sum is conditional expectation}}\\ &= E\left[E[Y\mid X]\right] &\scriptstyle{\text{RV}~E[Y\mid X]~\text{has value}~E[Y\mid X=x]~\text{when}~X=x} \end{align}$

X

$X$

E [Y ∣ X]

$E[Y\mid X]$ é uma função de , não de , mas, no entanto, a sua média é o mesmo que a média de .

X

$X$

Y

$Y$

Y

$Y$

A MENTIRA generalizada que você está vendo tem à esquerda na qual a expectativa interna é uma função de duas variáveis aleatórias e . O argumento é semelhante ao descrito acima, mas agora temos que mostrar que a variável aleatória é igual a outra variável aleatória. Fazemos isso observando o valor de quando tiver o valor . Ignorando as explicações, temos que $E\left[E[Y \mid X, Z] \mid X\right]$ $h(X,Z)$ $X$ $Z$ $E[Y\mid X]$ $E[Y\mid X]$ $X$ $x$

\begin{aligned} E [Y ∣ X = x] & = \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) \\ = \sum_{y} y \cdot \frac{p_{X, Y} (x, y)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{X, Y, Z} (x, y, z)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \cdot p_{X, Z} (x, z)}{p_{X} (x)} \\ = \sum_{z} \frac{p_{X, Z} (x, z)}{p_{X} (x)} \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot E [Y ∣ X = x, Z = z) \\ = E [E [Y ∣ X, Z] ∣ X = x] \end{aligned}

$\begin{align} E[Y \mid X = x] &= \sum_y y\cdot p_{Y\mid X}(y\mid X = x)\\ &= \sum_y y \cdot \frac{p_{X,Y}(x,y)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{X,Y,Z}(x,y,z)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{Y\mid X,Z}(y \mid X=x, Z=z)\cdot p_{X,Z}(x,z)}{p_X(x)}\\ &= \sum_z \frac{p_{X,Z}(x,z)}{p_X(x)}\sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot \sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot E[Y \mid X=x, Z=z)\\ &= E\left[E[Y\mid X,Z]\mid X = x\right] \end{align}$ Observe que o penúltimo lado direito é a fórmula do valor esperado condicional da variável aleatóriaZ] (uma função de e ) condicionada

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

X

$X$

Z

$Z$ sobre o valor de . Estamos fixando para ter o valor , multiplicando os valores da variável aleatória pelo valor condicional pmf de dado , e somando todos esses termos.

X

$X$

X

$X$

x

$x$

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

Z

$Z$

X

$X$

Assim, para cada valor da variável aleatória , o valor da variável aleatória (que observamos anteriormente é uma função de , não de ), é o mesmo que o valor da variável aleatória variável , ou seja, essas duas variáveis aleatórias são iguais. Eu mentiria para você? $x$ $X$ $E[Y\mid X]$ $X$ $Y$ $E\left[E[Y \mid X,Z]\mid X\right]$

— Dilip Sarwate
fonte