A covariância igual a zero implica independência para variáveis ​​aleatórias binárias?

Se e são duas variáveis ​​aleatórias que só podem assumir dois estados possíveis, como posso mostrar que implica independência? Isso vai contra o que aprendi no dia em que não implica independência ...$X$$Y$$Cov(X,Y) = 0$$Cov(X,Y) = 0$

A dica diz para começar com $1$ e $0$ como os estados possíveis e generalizar a partir daí. E eu posso fazer isso e mostrar $E(XY) = E(X)E(Y)$ , mas isso não implica independência ???

Meio confuso como fazer isso matematicamente, eu acho.

Para variáveis ​​binárias, seu valor esperado é igual à probabilidade de serem iguais a um. Portanto,

$$E(XY) = P(XY = 1) = P(X=1 \cap Y=1) \\ E(X) = P(X=1) \\ E(Y) = P(Y=1) \\ $$

Se os dois têm covariância zero, isso significa , o que significa$E(XY) = E(X)E(Y)$

$$P(X=1 \cap Y=1) = P(X=1) \cdot P(Y=1)$$

É trivial ver todas as outras probabilidades conjuntas também se multiplicarem, usando as regras básicas sobre eventos independentes (ou seja, se e são independentes, então seus complementos são independentes etc.), o que significa que a função de massa conjunta fatora, que é a definição de duas variáveis ​​aleatórias sendo independentes.$A$$B$

Tanto a correlação quanto a covariância medem a associação linear entre duas variáveis ​​fornecidas e não tem obrigação de detectar nenhuma outra forma de associação.

Portanto, essas duas variáveis ​​podem estar associadas de várias outras formas não lineares e a covariância (e, portanto, a correlação) não conseguiu distinguir dos casos independentes.

Como muito didáctico, artificial e não realista exemplo, pode-se considerar $X$ de modo a que $P(X=x)=1/3$ para $x=−1,0,1$ e também considerar $Y=X^2$ . Observe que eles não são apenas associados, mas um é função do outro. No entanto, sua covariância é 0, pois sua associação é ortogonal à associação que a covariância pode detectar.

EDITAR

De fato, como indicado por @whuber, a resposta original acima foi na verdade um comentário sobre como a afirmação não é universalmente verdadeira se ambas as variáveis ​​não eram necessariamente dicotômicas. Foi mal!

Então vamos matemática. (O equivalente local do "Traje!" De Barney Stinson)

Caso particular

Se $X$ e $Y$ eram dicotômicos, você pode assumir, sem perda de generalidade, que ambos assumem apenas os valores $0$ e $1$ com probabilidades arbitrárias $p$ , $q$ e $r$ dados por

$$\begin{align*} P(X=1) = p \in [0,1] \\ P(Y=1) = q \in [0,1] \\ P(X=1,Y=1) = r \in [0,1], \end{align*}$$ o qual caracterizar completamente a distribuição conjunta de$X$e$Y$. Tomando a dica de @ DilipSarwate, observe que esses três valores são suficientes para determinar a distribuição conjunta de$(X,Y)$, já que P ( X = 0 , Y = 1 )= P ( Y = 1 ) - P ( X = 1 , Y = 1 ) = q - r P ( X = 1 , Y = 0 )= P ( X = 1 ) - P ( X = 1 , Y = 1 ) = p - r P ( X = 0 , Y = 0 )= 1 - P ( X = 0 , Y = 1 ) - P ( X = 1 , Y = 0 ) - P ( X = 1 , Y = 1 )= 1 - ( q - r ) - ( p - r ) - r = 1 - p - q - r . (Em uma nota lateral,éclaro querdeve respeitarp-r∈[0,1],q-r∈[0,1]e1-p-q-r∈ $$\begin{align*} P(X=0,Y=1) &= P(Y=1) - P(X=1,Y=1) = q - r\\ P(X=1,Y=0) &= P(X=1) - P(X=1,Y=1) = p - r\\ P(X=0,Y=0) &= 1 - P(X=0,Y=1) - P(X=1,Y=0) - P(X=1,Y=1) \\ &= 1 - (q - r) - (p - r) - r = 1 - p - q - r. \end{align*}$$ $r$$p-r\in[0,1]$$q-r\in[0,1]$0 , 1 ] além de r ∈ [ 0 , 1 ] , ou seja, r ∈ [ 0 , min ( p , q , 1 - p - q ) ] .)$1-p-q-r\in[0,1]$$r\in[0,1]$$r\in[0,\min(p,q,1-p-q)]$

Observe que r = P ( X = 1 , Y = 1 ) pode ser igual ao produto p ⋅ q = P ( X = 1 ) P ( Y = 1 ) , o que tornaria X e Y independentes, pois P ( X = 0 , Y = 0 $r = P(X=1,Y=1)$$p\cdot q = P(X=1) P(Y=1)$$X$$Y$

$$\begin{align*} P(X=0,Y=0) &= 1 - p - q - pq = (1-p)(1-q) = P(X=0)P(Y=0)\\ P(X=1,Y=0) &= p - pq = p(1-q) = P(X=1)P(Y=0)\\ P(X=0,Y=1) &= q - pq = (1-p)q = P(X=0)P(Y=1). \end{align*}$$

Sim, r pode ser igual a p q , MAS pode ser diferente, desde que respeite os limites acima.$r$$pq$

Bem, a partir da distribuição conjunta acima, teríamos

$$\begin{align*} E(X) &= 0\cdot P(X=0) + 1\cdot P(X=1) = P(X=1) = p \\ E(Y) &= 0\cdot P(Y=0) + 1\cdot P(Y=1) = P(Y=1) = q \\ E(XY) &= 0\cdot P(XY=0) + 1\cdot P(XY=1) \\ &= P(XY=1) = P(X=1,Y=1) = r\\ Cov(X,Y) &= E(XY) - E(X)E(Y) = r - pq \end{align*}$$

Now, notice then that $X$ and $Y$ are independent if and only if $Cov(X,Y)=0$. Indeed, if $X$ and $Y$ are independent, then $P(X=1,Y=1)=P(X=1)P(Y=1)$, which is to say $r=pq$. Therefore, $Cov(X,Y)=r-pq=0$; and, on the other hand, if $Cov(X,Y)=0$, then $r-pq=0$, which is to say $r=pq$. Therefore, $X$ and $Y$ are independent.

General Case

About the without loss of generality clause above, if $X$ and $Y$ were distributed otherwise, let's say, for $a<b$ and $c<d$,

$$\begin{align*} P(X=b)=p \\ P(Y=d)=q \\ P(X=b, Y=d)=r \end{align*}$$ then $X'$ and $Y'$ given by $$X'=\frac{X-a}{b-a} \qquad \text{and} \qquad Y'=\frac{Y-c}{d-c}$$ would be distributed just as characterized above, since $$X=a \Leftrightarrow X'=0, \quad X=b \Leftrightarrow X'=1, \quad Y=c \Leftrightarrow Y'=0 \quad \text{and} \quad Y=d \Leftrightarrow Y'=1.$$ So $X$ and $Y$ are independent if and only if $X'$ and $Y'$ are independent.

Also, we would have

$$\begin{align*} E(X') &= E\left(\frac{X-a}{b-a}\right) = \frac{E(X)-a}{b-a} \\ E(Y') &= E\left(\frac{Y-c}{d-c}\right) = \frac{E(Y)-c}{d-c} \\ E(X'Y') &= E\left(\frac{X-a}{b-a} \frac{Y-c}{d-c}\right) = \frac{E[(X-a)(Y-c)]}{(b-a)(d-c)} \\ &= \frac{E(XY-Xc-aY+ac)}{(b-a)(d-c)} = \frac{E(XY)-cE(X)-aE(Y)+ac}{(b-a)(d-c)} \\ Cov(X',Y') &= E(X'Y')-E(X')E(Y') \\ &= \frac{E(XY)-cE(X)-aE(Y)+ac}{(b-a)(d-c)} - \frac{E(X)-a}{b-a} \frac{E(Y)-c}{d-c} \\ &= \frac{[E(XY)-cE(X)-aE(Y)+ac] - [E(X)-a] [E(Y)-c]}{(b-a)(d-c)}\\ &= \frac{[E(XY)-cE(X)-aE(Y)+ac] - [E(X)E(Y)-cE(X)-aE(Y)+ac]}{(b-a)(d-c)}\\ &= \frac{E(XY)-E(X)E(Y)}{(b-a)(d-c)} = \frac{1}{(b-a)(d-c)} Cov(X,Y). \end{align*}$$ So $Cov(X,Y)=0$ if and only $Cov(X',Y')=0$.

=D

IN GENERAL:

The criterion for independence is $F(x,y) = F_X(x)F_Y(y)$. Or

$$f_{X,Y}(x,y)=f_X(x)\,f_Y(y)\tag 1$$

"If two variables are independent, their covariance is $0.$ But, having a covariance of $0$ does not imply the variables are independent."

This is nicely explained by Macro here, and in the Wikipedia entry for independence.

$\text {independence} \Rightarrow \text{zero cov}$, yet

$\text{zero cov}\nRightarrow \text{independence}.$

Great example: $X \sim N(0,1)$, and $Y= X^2.$ Covariance is zero (and $\mathbb E(XY)=0$, which is the criterion for orthogonality), yet they are dependent. Credit goes to this post.

---

IN PARTICULAR (OP problem):

These are Bernoulli rv's, $X$ and $Y$ with probability of success $\Pr(X=1)$, and $\Pr(Y=1)$.

$\begin{align}\mathrm{cov}(X,Y)&=\mathrm E[XY] - \mathrm E[X]\,\mathrm E[Y]\\[2ex] &\underset{*}{=} \Pr(X=1 \cap Y=1) - \Pr(X=1)\, \Pr(Y=1)\\[2ex] &\implies \Pr(X=1 , Y=1) = \Pr (X=1)\,\Pr(Y=1). \end{align}$

This is equivalent to the condition for independence in Eq. $(1).$

---

$(*)$:

$$\mathrm E[XY]\quad \underset{**}{=} \quad \displaystyle \sum_{\text{domain X, Y}} \Pr(X=x\cap Y=y)\, x\,y \underset{\neq\,0\text{ iff } x \times y\neq 0}= \Pr(X=1 \cap Y=1).$$

$(**)$: by LOTUS.

---

As pointed out below, the argument is incomplete without what Dilip Sarwate had pointed out in his comments shortly after the OP appeared. After searching around, I found this proof of the missing part here:

If events $A$ and $B$ are independent, then events $A^c$ and $B$ are independent, and events $A^c$ and $B^c$ are also independent.

Proof By definition,

$A$ and $B$ are independent $\iff P(A\cap B) = P(A)P(B).$

But $B=(A\cap B) + ( A^c \cup B)$, so $P(B)= P(A\cap B) + P(A^c \cup B)$, which yields:

$\small P(A^c \cap B) = P(B) - P(A\cap B) = P(B) - P(A)\,P(B) = P(B) \left[1 - P(A)\right] = P(B)\,P( A^c).$

Repeat the argument for the events $A^c$ and $B^c,$ this time starting from the statement that $A^c$ and $B$ are independent and taking the complement of $B.$

Similarly. $A$ and $B^c$ are independent events.

So, we have shown already that

$$\Pr(X=1 , Y=1) = \Pr (X=1)\,\Pr(Y=1)$$ and the above shows that this implies that $$\Pr(X=i , Y=j) = \Pr (X=i)\,\Pr(Y=j), ~~i, j \in \{0,1\}$$ that is, the joint pmf factors into the product of marginal pmfs everywhere, not just at $(1,1)$. Hence, uncorrelated Bernoulli random variables $X$ and $Y$ are also independent random variables.