Entendendo que

Acabei de ver esta pergunta e a maravilhosa resposta aceita neste fórum. Fui então desencadeado para tentar entender intuitivamente por que a divisão de $S_xS_y$ está normalizando a covariância:

\frac{COV (X, Y)}{S_{x} S_{y}} \in [- 1, 1]

$\frac{\operatorname{COV}(X,Y)}{S_xS_y} \in [-1,1]$

Eu acho que será útil Se eu apenas entender por que $S_xS_x$ normaliza o $\operatorname{COV}(X,X)$ como $1$ . Claro que entendo que, por definição, são iguais. Mas minha pergunta é basicamente a seguinte: usando a terminologia da resposta aceita, por que a soma total de vermelho no gráfico é exatamente $S_xS_x = \operatorname{VAR}(X)$ (mais preciso, tanto quanto eu entendo, é dizer a soma de os retângulos divididos por $n^2$ devem ser $\operatorname{VAR}(X)$ ). Quero dizer, se tirarmos amostra de $10$ observações, do que temos $45$ retângulos, enquanto usamos a definição, temos que encontrar a média de apenas $10$ valores.

— d_e
fonte

Este post apresenta um método poderoso de raciocínio que evita uma grande quantidade de álgebra e cálculo. Para aqueles familiarizados com esse método, o trabalho é tão automático e natural que a resposta inicial de alguém a uma pergunta como essa é "é óbvio!" Mas talvez não seja tão óbvio até você ver o método. Portanto, todos os detalhes são explicados passo a passo.

fundo

Existem várias fórmulas para a variação dos dados (com média ), incluindo $\mathbf{x}=x_1, x_2, \ldots, x_n$ $\bar x = (x_1+\cdots + x_n)/n$

\begin{matrix} (1) & Var (x) = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} = \frac{1}{n} (\sum_{i = 1}^{n} x_{i}^{2}) - {\bar{x}}^{2} . \end{matrix}

$\operatorname{Var}(\mathbf{x}) = \frac{1}{n}\sum_{i=1}^n (x_i - \bar x)^2 = \frac{1}{n}\left(\sum_{i=1}^n x_i^2\right) - \bar x^2.\tag{1}$

Isso determina a covariância dos dados emparelhados via $(x_1,y_1), \ldots, (x_n, y_n)$

Cov (x, y) = \frac{1}{4} (Var (x + y) - Var (x - y)) .

$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \frac{1}{4}\left(\operatorname{Var}(\mathbf{x}+\mathbf{y}) - \operatorname{Var}(\mathbf{x}-\mathbf{y})\right).$

A fórmula implícita no posto de covariância com giz de cera mencionado é

\begin{matrix} (2) & C (x, y) = \sum_{i = 1}^{n - 1} \sum_{j = i + 1}^{n} (x_{j} - x_{i}) (y_{j} - y_{i}) = \frac{1}{2} \sum_{i, j = 1}^{n} (x_{j} - x_{i}) (y_{j} - y_{i}) . \end{matrix}

$C(\mathbf{x}, \mathbf{y}) = \sum_{i=1}^{n-1} \sum_{j=i+1}^n (x_j - x_i)(y_j - y_i) = \frac{1}{2}\sum_{i,j=1}^n (x_j - x_i)(y_j - y_i).\tag{2}$

Esse post afirma que é proporcional à covariância. A constante de proporcionalidade pode (e faz) variar com . Assim, quando uma implicação dessa afirmação é que $C$ $c(n)$ $n$ $\mathbf{x}=\mathbf{y}$

C (x, x) = c (n) Var (x) .

$C(\mathbf{x}, \mathbf{x}) = c(n) \operatorname{Var}(\mathbf{x}).$

Análise

Embora isso possa ser demonstrado com álgebra de força bruta, existe uma maneira melhor: vamos explorar as propriedades fundamentais da covariância. Quais seriam essas propriedades? Eu gostaria de sugerir o seguinte é básico:

Independência de localização. Ou seja, para qualquer número . (A expressão refere-se ao conjunto de dados .)
$Cov (x, y) = Cov (x - a, y)$ $\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \operatorname{Cov}(\mathbf{x}-\mathbf{a}, \mathbf{y})$ $a$ $\mathbf{x}-\mathbf{a}$ $x_1-a, x_2-a, \ldots, x_n-a$
Multilinearidade. Isso implica para qualquer número . (A expressão refere-se ao conjunto de dados .)
$Cov (λ x, y) = λ Cov (x, y)$ $\operatorname{Cov}(\lambda\,\mathbf{x}, \mathbf{y}) = \lambda\,\operatorname{Cov}(\mathbf{x}, \mathbf{y})$ $\lambda$ $\lambda\mathbf{x}$ $\lambda x_1, \lambda x_2, \ldots, \lambda x_n$
Simetria. A covariância de e é a covariância de e : $\mathbf{x}$ $\mathbf{y}$ $\mathbf{y}$ $\mathbf{x}$
$Cov (x, y) = Cov (y, x) .$ $\operatorname{Cov}(\mathbf{x}, \mathbf{y}) =\operatorname{Cov}(\mathbf{y}, \mathbf{x}).$
$(x_i, y_i)$
$Cov (x, y) = Cov (x^{σ}, y^{σ})$ $\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \operatorname{Cov}(\mathbf{x}^\sigma, \mathbf{y}^\sigma)$ $\sigma\in\mathfrak{S}_n$ $\mathbf{x}^\sigma$ $x_i$ $\sigma$ $\mathbf{x}^\sigma = x_{\sigma(1)}, x_{\sigma(2)}, \ldots, x_{\sigma(n)}.$

$\operatorname{Var}$ $C$ $(1)$ $(2)$ $x_i$

x_{i} - \bar{x} = (x_{i} - a) - \bar{x - a}

$x_i - \bar{x} = (x_i - a) - \overline{x - a}$

x_{j} - x_{i} = (x_{j} - a) - (x_{i} - a) .

$x_j - x_i = (x_j - a) - (x_i - a).$

$(1)$ $(2)$

Solução

$C$ $c_{ij} = c_{ji}$

C (x, y) = \sum_{i, j = 1}^{n} c_{i j} x_{i} y_{j} .

$C(\mathbf{x}, \mathbf{y}) = \sum_{i, j=1}^n c_{ij}\, x_i y_j.$

$c_{ij} = c_{i^\prime j^\prime}$ $i,j,i^\prime,j^\prime$ $i\ne j$ $i^\prime \ne j^\prime$ $c_{ii} = c_{i^\prime i^\prime}$ $i$ $i^\prime$ $C$ $c_{11}$ $c_{12}$

0 = C (0, 0) \overset{location-invariance}{=} C (1, 0) \overset{symmetry}{=} C (0, 1) \overset{location-invariance}{=} C (1, 1)

$0 = C(\mathbf{0},\mathbf{0}) \overset{\text{location-invariance}}{=} C(\mathbf{1},\mathbf{0}) \overset{\text{symmetry}}{=} C(\mathbf{0},\mathbf{1}) \overset{\text{location-invariance}}{=} C(\mathbf{1},\mathbf{1})$

$\mathbf{0}$ $\mathbf{1}$ $n$

0 = C (1, 1) = \sum_{i, j}^{n} c_{i j} = n c_{11} + (n^{2} - n) c_{12},

$0=C(\mathbf{1},\mathbf{1}) = \sum_{i,j}^n c_{ij} = nc_{11} + (n^2-n)c_{12},$

c_{11}

$c_{11}$

c_{12}

$c_{12}$

$C$ $\operatorname{Cov}$ $(1)$ $(2)$ $x_1^2$ $c_{11}$ $(1)$ $x_1^2$ $1/n - (1/n)^2$ $(2)$ $\mathbf{y} = \mathbf{x}$ $x_1^2$ $n-1$ $(\mathbf{x},\mathbf{x})$ $n-1$ $n-1$

c (n) = \frac{n - 1}{1 / n - (1 / n)^{2}} = n^{2},

$c(n) = \frac{n-1}{1/n - (1/n)^2} = n^2,$

QED . Este foi o único cálculo necessário para demonstrar

Cov (x, y) = \frac{1}{n^{2}} C (x, y) = \frac{1}{n^{2}} \sum_{i = 1}^{n - 1} \sum_{j = i + 1}^{n} (x_{j} - x_{i}) (y_{j} - y_{i}) .

$\operatorname{Cov}(\mathbf{x}, \mathbf{y}) = \frac{1}{n^2}C(\mathbf{x}, \mathbf{y}) = \frac{1}{n^2}\sum_{i=1}^{n-1} \sum_{j=i+1}^n (x_j - x_i)(y_j - y_i).$

— whuber
fonte