Por que o denominador do estimador de covariância não deveria ser n-2 em vez de n-1?

36

O denominador do estimador de variância (imparcial) é pois existem observações e apenas um parâmetro está sendo estimado. $n-1$ $n$

V (X) = \frac{\sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}}{n - 1}

$\mathbb{V}\left(X\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

Da mesma forma, pergunto-me por que o denominador de covariância não deveria ser quando dois parâmetros estão sendo estimados? $n-2$

C o v (X, Y) = \frac{\sum_{i = 1}^{n} (X_{i} - \bar{X}) (Y_{i} - \bar{Y})}{n - 1}

$\mathbb{Cov}\left(X, Y\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(Y_{i}-\overline{Y}\right)}{n-1}$

— MYaseen208
fonte

15

Se você fizer isso, você teria duas definições conflitantes para a variância: um seria a primeira fórmula eo outro seria a segunda fórmula aplicada com .

Y = X

$Y=X$

— whuber

3

Uma média bi / multivariada (expectativa) é um, não dois parâmetros.

— ttnphns

14

@ttnphns Isso não é verdade: a média bivariada é obviamente dois parâmetros porque requer dois números reais para expressá-la. (Na verdade, é um parâmetro de vetor único , mas dizer isso apenas disfarça o fato de ter dois componentes.) Isso aparece explicitamente nos graus de liberdade dos testes t de variância combinada, por exemplo, onde é subtraído e não . O interessante dessa pergunta é como ela revela quão vaga, não rigorosa e potencialmente enganosa é a "explicação" comum que subtraímos de porque um parâmetro foi estimado.

2

$2$

1

$1$

1

$1$

n

$n$

— whuber

@ Whuber, você está certo nisso. Se fosse apenas

n

$n$ (observações independentes) o que importa, não gastaríamos mais df em testes multivariados do que em testes univariados.

— ttnphns

3

@ whuber: Eu talvez diria que mostra que o que conta como "um parâmetro" depende da situação. Nesse caso, a variação é calculada sobre $n$ observações e, portanto, cada observação - ou a média total - pode ser vista como um parâmetro, mesmo que seja uma média multivariada, como disse ttnphns. Porém, em outros casos, quando, por exemplo, um teste considera combinações lineares de dimensões, cada dimensão de cada observação se torna "um parâmetro". Você está certo de que este é um problema complicado.

— Ameba diz Reinstate Monica

31

Covariances são variações.

Desde pela identidade de polarização

Cov (X, Y) = Var (\frac{X + Y}{2}) - Var (\frac{X - Y}{2}),

$\newcommand{\c}{\text{Cov}}\newcommand{\v}{\text{Var}} \c(X,Y) = \v\left(\frac{X+Y}{2}\right) - \v\left(\frac{X-Y}{2}\right),$

os denominadores devem ser os mesmos.

— whuber
fonte

20

Um caso especial deve lhe dar uma intuição; pense no seguinte:

\hat{C o v} (X, X) = \hat{V} (X)

$\hat{\mathbb{Cov}}\left(X, X\right)= \hat{\mathbb{V}}\left(X\right)$

Você está feliz que o último seja devido à correção de Bessel. $\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

Mas substituindo por em para ao primeiro dá $Y$ $X$ $\hat{\mathbb{Cov}}\left(X, Y\right)$ , então o que você acha que poderia preencher melhor o espaço em branco? $\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(X_{i}-\overline{X}\right)}{\text{mystery denominator}}$

— Silverfish
fonte

1

ESTÁ BEM. Mas o OP pode perguntar "por que considerar cov (X, X) e cov (X, Y) em uma linha lógica? Por que você está substituindo Y por X em cov () de maneira irreverente? Talvez cov (X, Y) é uma situação diferente? " Você não fez AVERT que, embora a resposta (altamente upvoted) deveria ter, na minha impressão :-)

— ttnphns

7

Uma resposta rápida e suja ... Vamos considerar primeiro ; se você tivesse observações com valor esperado conhecido você usaria $\text{var}(X)$ $n$ $E(X) = 0$ para estimar a varicia. ${1\over n}\sum_{i=1}^n X_i^2$

Como o valor esperado é desconhecido, você pode transformar suas observações em observações com valor esperado conhecido, tomando para . Você obterá uma fórmula com no denominador - no entanto, não é independente e você deve levar isso em consideração; no final, você encontrará a fórmula usual. $n$ $n-1$ $A_i = X_i - X_1$ $i = 2, \dots,n$ $n-1$ $A_i$

Agora, para a covariância, você pode usar a mesma idéia: se o valor esperado de fosse , você teria $(X,Y)$ $(0,0)$ na fórmula. Subtraindoa todos os outros valores observados, você obtémobservações com o valor esperado conhecido ... e um ${1\over n}$ $(X_1,Y_1)$ $n-1$ na fórmula - mais uma vez, isso introduz alguma dependência a ser levada em consideração. ${1\over n-1}$

PS A maneira limpa para fazer isso é escolher uma base ortonormal de , que é vetores tal que $\big\langle (1, \dots, 1)' \big\rangle^{\perp}$ $n-1$ $c_1, \dots, c_{n-1} \in \mathbb R^n$

para todas as , $\sum_j c_{ij}^2 = 1$ $i$
para todos os , $\sum_j c_{ij} = 0$ $i$
para todos os . $\sum_j c_{i_1j} c_{i_2j} = 0$ $i_1 \ne i_2$

Pode, em seguida, definir variáveis e . Os são independentes, têm valor esperado e têm a mesma variância / covariância que as variáveis originais. $n-1$ $A_i = \sum_j c_{ij} X_j$ $B_i = \sum_j c_{ij} Y_j$ $(A_i,B_i)$ $(0,0)$

A questão é que, se você quiser se livrar da expectativa desconhecida, descarte uma (e apenas uma) observação. Isso funciona da mesma forma nos dois casos.

— Elvis
fonte

6

Aqui está uma prova de que o estimador de covariância da amostra p-variada com denominador é um estimador imparcial da matriz de covariância: $\frac{1}{n-1}$

. $x' = (x_1,...,x_p)$

$\Sigma= E((x-\mu)(x-\mu)')$

$S = \frac{1}{n} \sum (x_i - \bar{x})(x_i - \bar{x})'$

$E(S) = \frac{n-1}{n}\Sigma$

$S= \frac{1}{n}\sum x_ix_i' - \bar{x}\bar{x}'$

(2) $E(\bar{x}\bar{x}') = \frac{1}{n} \Sigma+ \mu\mu'$

Therefore: $E(S) = \Sigma + \mu\mu' - (\frac{1}{n} \Sigma+ \mu\mu') = \frac{n-1}{n} \Sigma$

And so $S_u = \frac{n}{n-1}S$ , with the final denominator $\frac{1}{n-1}$ , is unbiased. The off-diagonal elements of $S_u$ are your individual sample covariances.

Additional remarks:

The n draws are independent. This is used in (2) to calculate the covariance of the sample mean.
Step (1) and (2) use the fact that $Cov(x)= E[xx']-\mu\mu'$
Step (2) uses the fact that $Cov(\bar{x})= \frac{1}{n}\Sigma$

— statchrist
fonte

The difficulty being in step 2 ! :)

— Elvis

@Elvis It's messy. One needs to apply the rule Cov(X+Y,Z)=Cov(X,Z) + Cov(Y,Z) and recognize that the different draws are independent. Then it's basically summing up the covariance n times and scaling it down by 1/n²

— statchrist

4

I guess one way to build intuition behind using 'n-1' and not 'n-2' is - that for calculating co-variance we do not need to de-mean both X and Y, but either of the two, i.e.

$\sum (X-\mu_x)(Y - \mu_y) = \sum (X-\mu_x)Y \ \ \ or \ \ \ \sum (Y-\mu_y)X$

— Uditg_ucla
fonte

Could you elaborate on how this bears on the question of what denominator to use? The algebraic relation in evidence derives from the fact that the residuals relative to the mean sum to zero, but otherwise is silent about which denominator is relevant.

— whuber

5

I came here because I had the same question as the OP. I think this answer gets at the nub of the point @whuber pointed out above: that the rule of thumb is that df ~= n - (parameters estimated) can be "vague, unrigorous, and potentially misleading." This points out the fact that though it looks like you need to estimate two parameters (xbar and ybar), you really only estimate one (xbar or ybar). Since the df should be the same in both cases, it must be the lower of the two. I think that is the intent here.

— mpettis

1

1) Start $df=2n$ .

2) Sample covariance is proportional to $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ . Lose two $df$ ; one from $\bar{X}$ , one from $\bar{Y}$ resulting in $df=2(n-1)$ .

3) However, $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ only contains $n$ separate terms, one from each product. When two numbers are multiplied together the independent information from each separate number disappears.

As a trite example, consider that

$24=1*24=2*12=3*8=4*6=6*4=8*3=12*2=24*1$ ,

and that does not include irrationals and fractions, e.g. $24=2\sqrt{6}*2\sqrt{6}$ , so that when we multiply two number series together and examine their product, all we see are the $df=n-1$ from one number series, as we have lost half of the original information, that is, what those two numbers were before the pair-wise grouping into one number (i.e., multiplication) was performed.

In other words, without loss of generality we can write

$(X_i-\bar{X})(Y_i-\bar{Y})=z_i-\bar{z}$ for some $z_i$ and $\bar{z}$ ,

i.e., $z_i=X_iY_i-\bar{X}Y_i-X_i\bar{Y}$ , and, $\bar{z}=\bar{X}\bar{Y}$ . From the $z$ 's, which then clearly have $df=n-1$ , the covariance formula becomes

$\Sigma_{i=1}^n\frac{z_i-\bar{z}}{n-1}=$

$\Sigma_{i=1}^n\frac{[(X_i-\bar{X})(Y_i-\bar{Y})]}{n-1}=$

$\frac{1}{n-1}\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ .

Thus, the answer to the question is that the $df$ are halved by grouping.

— Carl
fonte

@whuber How on earth did I get the same thing posted twice and deleted once? What gives? Can we get rid of one of them? For future reference, is there any way to permanently delete such duplicates? I have a few hanging around and it's annoying.

— Carl

As far as I can tell, you reposted your answer from the duplicate to here. (Nobody else has the power to post answers in your name.) The system strongly discourages posting identical answers in multiple threads, so when I saw that, it convinced me these two threads are perfect duplicates and I "merged" them. This is a procedure that moves all comments and answers from the source thread to the target thread. I then deleted your duplicate post here in the target thread. It will remain permanently deleted, but will be visible to you as well as to people of sufficiently high reputation.

— whuber

@whuber I didn't know what happens in a merge, that a merge was taking place or what many of the rules are, despite looking things up constantly. It takes time to learn, be patient, BTW, would you consider taking stats.stackexchange.com/questions/251700/… off of Hold?

— Carl