A linearidade da variância

16

Eu acho que as duas fórmulas a seguir são verdadeiras:

V a r (a X) = a^{2} V a r (X)

$\mathrm{Var}(aX)=a^2 \mathrm{Var}(X)$ enquanto a é um número constante

V a r (X + Y) = V a r (X) + V a r (Y)

$\mathrm{Var}(X + Y)=\mathrm{Var}(X)+\mathrm{Var}(Y)$ se

X

$X$ ,

Y

$Y$ são independentes

No entanto, não tenho certeza do que está errado com o abaixo:

V a r (2 X) = V a r (X + X) = V a r (X) + V a r (X)

$\mathrm{Var}(2X) = \mathrm{Var}(X+X) = \mathrm{Var}(X) + \mathrm{Var}(X)$ que não seja igual a

2^{2} V a r (X)

$2^2 \mathrm{Var}(X)$ , ou seja,

4 V a r (X)

$4\mathrm{Var}(X)$ .

Se for assumido que $X$ é a amostra retirada de uma população, acho que sempre podemos assumir que $X$ é independente dos outros $X$ .

Então, o que há de errado com a minha confusão?

variance linearity fallacy

— lanselibai
fonte

8

A variância não é linear - sua primeira afirmação mostra isso (se fosse, você teria

. Por outro lado, a covariância é bilinear.

V a r (a X) = a V a r (X)

$Var(aX) = a Var(X)$

— Batman

33

$\DeclareMathOperator{\Cov}{Cov}$ $\DeclareMathOperator{\Corr}{Corr}$ $\DeclareMathOperator{\Var}{Var}$

O problema com sua linha de raciocínio é

"Acho que sempre podemos assumir que é independente dos outros ". $X$ $X$

não é independente do . O símbolo está sendo usado para se referir à mesma variável aleatória aqui. Depois que você souber o valor do primeiro a aparecer na sua fórmula, isso também corrigirá o valor do segundo a aparecer. Se você deseja que eles se refiram a variáveis aleatórias distintas (e potencialmente independentes), é necessário denotá-las com letras diferentes (por exemplo, e ) ou usando subscritos (por exemplo, e ); o último é frequentemente (mas nem sempre) usado para denotar variáveis extraídas da mesma distribuição. $X$ $X$ $X$ $X$ $X$ $X$ $Y$ $X_1$ $X_2$

Se duas variáveis e são independentes, então é o mesmo que : conhecendo o valor de não nos dá qualquer informação adicional sobre o valor de . Mas é se e em contrário: conhecer o valor de $X$ $Y$ $\Pr(X=a|Y=b)$ $\Pr(X=a)$ $Y$ $X$ $\Pr(X=a|X=b)$ $1$ $a=b$ $0$ $X$ dá-lhe informações completas sobre o valor de . [Você pode substituir as probabilidades neste parágrafo por funções de distribuição cumulativa ou, quando apropriado, funções de densidade de probabilidade, para essencialmente o mesmo efeito.] $X$

Outra maneira de ver as coisas é que, se duas variáveis são independentes, elas têm correlação zero (embora a correlação zero não implique independência !), Mas está perfeitamente correlacionado consigo mesmo, para que não possa ser independente de si mesmo. Observe que, como a covariância é dada por $X$ $\Corr(X,X)=1$ $X$ , então $\Cov(X,Y)=\Corr(X,Y)\sqrt{\Var(X)\Var(Y)}$

Cov (X, X) = 1 \sqrt{Var (X)^{2}} = Var (X)

$\Cov(X,X)=1\sqrt{\Var(X)^2}=\Var(X)$

A fórmula mais geral para a variação de uma soma de duas variáveis aleatórias é

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

Em particular, , então $\Cov(X,X) = \Var(X)$

Var (X + X) = Var (X) + Var (X) + 2 Var (X) = 4 Var (X)

$\Var(X+X) = \Var(X) + \Var(X) + 2\Var(X) = 4\Var(X)$

que é o mesmo que você deduziria da aplicação da regra

Var (a X) = a^{2} Var (X) ⟹ Var (2 X) = 4 Var (X)

$\Var(aX) = a^2 \Var(X) \implies \Var(2X) = 4\Var(X)$

Se você estiver interessado em linearidade, poderá estar interessado na bilinearidade da covariância. Para variáveis aleatórias , , e (dependentes ou independentes) e constantes , , e , temos $W$ $X$ $Y$ $Z$ $a$ $b$ $c$ $d$

Cov (a W + b X, Y) = a Cov (W, Y) + b Cov (X, Y)

$\Cov(aW + bX, Y) = a \Cov(W,Y) + b \Cov(X,Y)$

Cov (X, c Y + d Z) = c Cov (X, Y) + d Cov (X, Z)

$\Cov(X, cY + dZ) = c \Cov(X,Y) + d \Cov(X,Z)$

e no geral,

Cov (a W + b X, c Y + d Z) = a c Cov (W, Y) + a d Cov (W, Z) + b c Cov (X, Y) + b d Cov (X, Z)

$\Cov(aW + bX, cY + dZ) = ac \Cov(W,Y) + ad \Cov(W,Z) + bc \Cov(X,Y) + bd \Cov(X,Z)$

You can then use this to prove the (non-linear) results for variance that you wrote in your post:

Var (a X) = Cov (a X, a X) = a^{2} Cov (X, X) = a^{2} Var (X)

$\Var(aX) = \Cov(aX, aX) = a^2 \Cov(X,X) = a^2 \Var(X)$

\begin{aligned} Var (a X + b Y) & = Cov (a X + b Y, a X + b Y) \\ = a^{2} Cov (X, X) + a b Cov (X, Y) + b a Cov (X, Y) + b^{2} Cov (Y, Y) \\ Var (a X + b Y) & = a^{2} Var (X) + b^{2} Var (Y) + 2 a b Cov (X, Y) \end{aligned}

$\begin{align} \Var(aX + bY) &= \Cov(aX + bY, aX + bY) \\ &= a^2 \Cov(X,X) + ab \Cov(X,Y) + ba \Cov (X,Y) + b^2 \Cov(Y,Y) \\ \Var(aX + bY) &= a^2 \Var(X) + b^2 \Var(Y) + 2ab \Cov(X,Y) \end{align}$

The latter gives, as a special case when $a=b=1$ ,

Var (X + Y) = Var (X) + Var (Y) + 2 Cov (X, Y)

$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$

When $X$ and $Y$ are uncorrelated (which includes the case where they are independent), then this reduces to $\Var(X+Y) = \Var(X) + \Var(Y)$ . So if you want to manipulate variances in a "linear" way (which is often a nice way to work algebraically), then work with the covariances instead, and exploit their bilinearity.

— Silverfish
fonte

1

Yes! I think you pinpointed at the beginning that the confusion was essentially a notational one. I found it very helpful when one book (very explicitly, some might say laboriously) explained the interpretation of and rules of evaluating a probabilistic statement (so that, e.g., even if you know what you mean by

Pr (X + X = n)

$\Pr (X+X=n)$ where

X \sim Uniform (1..6)

$X \sim \text{Uniform}(1..6)$ , it is technically incorrect if you're considering throwing a

n

$n$ in craps (and

X + X = 2 X

$X+X=2X$ would never yield an odd roll); the event would be properly expressed using

X_{1}, X_{2}

$X_1,X_2$ i.i.d.).

— Vandermonde

1

This is in contrast to (and I think my misapprehension might have stemmed from) how 2+PRNG(6)+PRNG(6) often is how you would toss dice as above and/or notation/conventions such as

2 d 6 = d 6 + d 6

$2 \text{d}6 = \text{d}6 + \text{d}6$ in which different instances are genuinely intended to be independent.

— Vandermonde

@Vandermonde That's an interesting point. I initially considered mentioning the use of subscripts to distinguish between "different

X

$X$ s" but didn't bother - think I might edit it in now. The argument that "you'd never get an odd total score if the sum was

2 X

$2X$ " is very clear and convincing to someone who can't see the need to distinguish: thanks for sharing it.

— Silverfish

0

Another way of thinking about it is that with random variables $2X \neq X + X$ .

$2X$ would mean two times the value of the outcome of $X$ , while $X + X$ would mean two trials of $X$ . In other words, it's the difference between rolling a die once and doubling the result, vs rolling a die twice.

— Benjamin
fonte

+1 This is a perfectly clear and correct answer. Welcome to our site!

— whuber

Thanks @whuber!

— Benjamin