A centralização significa reduzir a covariância?

11

Assumindo que tenho duas variáveis aleatórias não independentes e que desejo reduzir a covariância entre elas o máximo possível, sem perder muito "sinal", significa centralizar a ajuda? Eu li em algum lugar que a centralização média reduz a correlação por um fator significativo, então acho que deve fazer o mesmo com a covariância.

correlation covariance random-vector

— lvdp
fonte

30

Se e são variáveis aleatórias e e são constantes, então centragem é o caso especial de e , de modo centragem não afectar covariância. $X$ $Y$ $a$ $b$

\begin{aligned} Cov (X + a, Y + b) & = E [(X + a - E [X + a]) (Y + b - E [Y + b])] \\ = E [(X + a - E [X] - E [a]) (Y + b - E [Y] - E [b])] \\ = E [(X + a - E [X] - a) (Y + b - E [Y] - b)] \\ = E [(X - E [X]) (Y - E [Y])] \\ = Cov (X, Y) . \end{aligned}

$\begin{aligned} \operatorname{Cov}(X + a, Y + b) &= E[(X + a - E[X + a])(Y + b - E[Y + b])] \\ &= E[(X + a - E[X] - E[a])(Y + b - E[Y] - E[b])] \\ &= E[(X + a - E[X] - a)(Y + b - E[Y] - b)] \\ &= E[(X - E[X])(Y - E[Y])] \\ &= \operatorname{Cov}(X, Y). \end{aligned}$

a = - E [X]

$a = -E[X]$

b = - E [Y]

$b = -E[Y]$

Além disso, como a correlação é definida como podemos ver que portanto, a correlação também não é afetada pela centralização.

Corr (X, Y) = \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}},

$\operatorname{Corr}(X, Y) = \frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}(X) \operatorname{Var}(Y)}},$

\begin{aligned} Corr (X + a, Y + b) & = \frac{Cov (X + a, Y + b)}{\sqrt{Var (X + a) Var (Y + b)}} \\ = \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}}, \end{aligned}

$\begin{aligned} \operatorname{Corr}(X + a, Y + b) &= \frac{\operatorname{Cov}(X + a, Y + b)}{\sqrt{\operatorname{Var}(X + a) \operatorname{Var}(Y + b)}} \\ &= \frac{\operatorname{Cov}(X, Y)}{\sqrt{\operatorname{Var}(X) \operatorname{Var}(Y)}}, \end{aligned}$

Essa era a versão populacional da história. A versão de exemplo é a mesma: Se usarmos como nossa estimativa de covariância entre e de uma amostra emparelhada , em seguida,

\hat{Cov} (X, Y) = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j}) (Y_{i} - \frac{1}{n} \sum_{j = 1}^{n} Y_{j})

$\widehat{\operatorname{Cov}}(X, Y) = \frac{1}{n} \sum_{i=1}^n \left(X_i - \frac{1}{n}\sum_{j=1}^n X_j\right)\left(Y_i - \frac{1}{n}\sum_{j=1}^n Y_j\right)$

X

$X$

Y

$Y$

(X_{1}, Y_{1}), \dots, (X_{n}, Y_{n})

$(X_1,Y_1), \ldots, (X_n,Y_n)$

\begin{aligned} \hat{Cov} (X + a, Y + b) & = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} + a - \frac{1}{n} \sum_{j = 1}^{n} (X_{j} + a)) (Y_{i} + b - \frac{1}{n} \sum_{j = 1}^{n} (Y_{j} + b)) \\ = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} + a - \frac{1}{n} \sum_{j = 1}^{n} X_{j} - \frac{n}{n} a) (Y_{i} + b - \frac{1}{n} \sum_{j = 1}^{n} Y_{j} - \frac{n}{n} b) \\ = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j}) (Y_{i} - \frac{1}{n} \sum_{j = 1}^{n} Y_{j}) \\ = \hat{Cov} (X, Y) \end{aligned}

$\begin{aligned} \widehat{\operatorname{Cov}}(X + a, Y + b) &= \frac{1}{n} \sum_{i=1}^n \left(X_i + a - \frac{1}{n}\sum_{j=1}^n (X_j + a)\right)\left(Y_i + b - \frac{1}{n}\sum_{j=1}^n (Y_j + b)\right) \\ &= \frac{1}{n} \sum_{i=1}^n \left(X_i + a - \frac{1}{n}\sum_{j=1}^n X_j - \frac{n}{n} a\right)\left(Y_i + b - \frac{1}{n}\sum_{j=1}^n Y_j - \frac{n}{n} b\right) \\ &= \frac{1}{n} \sum_{i=1}^n \left(X_i - \frac{1}{n}\sum_{j=1}^n X_j\right)\left(Y_i - \frac{1}{n}\sum_{j=1}^n Y_j\right) \\ &= \widehat{\operatorname{Cov}}(X, Y) \end{aligned}$ para qualquer e .

a

$a$

b

$b$

— Artem Mavrin
fonte

Obrigado pela resposta detalhada. Isso significa que, para a covariância da amostra, o tamanho da amostra também não tem impacto? isto é, reduzir o tamanho da amostra não reduz a covariância da amostra?

— lvdp 11/02/19

3

@ lvdp Essa provavelmente deve ser uma pergunta separada.

— Acumulação

Um tamanho de amostra reduzido só pode vir com uma amostra diferente. Uma amostra diferente pode mostrar covariância diferente, portanto. Porém, como a covariância da amostra é definida como uma média, o tamanho da amostra é dimensionado em princípio.

— Nick Cox

5

A definição da covariância de e é . A expressão em que a fórmula é a versão centrado de . Então, nós já centralizamos o quando assumimos a covariância, e a centralização é um operador idempotente; uma vez que uma variável é centralizada, a aplicação do processo de centralização mais vezes não a altera. Se a fórmula não adotasse as versões centralizadas das variáveis, haveria todos os tipos de efeitos estranhos, como a covariância entre temperatura e outra variável sendo diferente dependendo se medimos a temperatura em graus Celsius ou Kelvin. $X$ $Y$ $E[(X-E[X])(Y-E[Y])]$ $X-E[X]$ $X$ $X$

— Acumulação
fonte

3

"em algum lugar" tende a ser uma fonte pouco confiável ...

Covariância / correlação são definidas com centralização explícita . Se você não centralizar os dados, não estará computando covariância / correlação. (Precisamente: correlação de Pearson)

A principal diferença é se você centraliza com base em um modelo teórico (por exemplo, o valor esperado deve ser exatamente 0) ou com base nos dados (média aritmética). É fácil ver que a média aritmética produzirá covariância menor do que qualquer outro centro.

No entanto, covariância menor não implica menor correlação, ou o contrário. Suponha que temos os dados X = (1,2) e Y = (2,1). É fácil ver que, com a média aritmética centralizada, isso produzirá uma correlação perfeitamente negativa, enquanto que se soubermos que o processo de geração produz 0 em média, os dados são realmente correlacionados positivamente. Portanto, neste exemplo, estamos centralizando - mas com o valor teórico esperado de 0.

Isso pode surgir facilmente. Considere que temos uma matriz de sensores, 11x11, com as células numeradas de -5 a +5. Em vez de assumir a média aritmética, faz sentido usar a média "física" de nossa matriz de sensores aqui ao procurar a correlação de eventos do sensor (se enumerássemos as células de 0 a 10, usaríamos 5 como média fixa, e obteríamos exatamente os mesmos resultados, para que a escolha da indexação desapareça da análise - bom).

— Possui QUIT - Anony-Mousse
fonte

Obrigado @ Anony-Mousse, a covariância da amostra dependerá do tamanho da amostra? Ou seja, um tamanho de amostra menor produzirá covariância menor (antes da centralização).

— lvdp 11/02/19

11

Depende da amostra obviamente. Em média - eu não sei. Eu esperaria que amostras menores tivessem mais variabilidade principalmente, então talvez mais frequentemente valores extremos. Mas isso é apenas uma intuição.

— Quit - Anony-Mousse 12/02/19