Por que o coeficiente de correlação entre variáveis ​​aleatórias X e XY tende a ser 0,7

Extraído de Estatísticas Práticas para Pesquisa Médica, onde Douglas Altman escreve na página 285:

... para quaisquer duas quantidades X e Y, X será correlacionado com XY. De fato, mesmo que X e Y sejam amostras de números aleatórios, esperaríamos que a correlação de X e XY fosse 0,7

Eu tentei isso em R e parece ser o caso:

x <- rnorm(1000000, 10, 2)
y <- rnorm(1000000, 10, 2)
cor(x, x-y)

xu <- sample(1:100, size = 1000000, replace = T)
yu <- sample(1:100, size = 1000000, replace = T)
cor(xu, xu-yu)

Por que é que? Qual é a teoria por trás disso?

Se e são variáveis ​​aleatórias não correlacionadas com variância igual , temos que Conseqüentemente,Y σ 2 var ( X - Y $X$$Y$$\sigma^2$

$$\begin{align} \operatorname{var}(X-Y) &= \operatorname{var}(X) + \operatorname{var}(-Y)\\ &= \operatorname{var}(X) + \operatorname{var}(Y)\\ &=2\sigma^2,\\ \operatorname{cov}(X, X-Y) &= \operatorname{cov}(X,X) - \operatorname{cov}(X,Y) & \text{bilinearity of covariance operator}\\ &= \operatorname{var}(X) - 0 & 0 ~\text{because}~X ~\text{and}~ Y ~\text{are uncorrelated}\\ &= \sigma^2. \end{align}$$ $$\rho_{X,X-Y} = \frac{\operatorname{cov}(X, X-Y)}{\sqrt{\operatorname{var}(X)\operatorname{var}(X-Y)}}= \frac{\sigma^2}{\sqrt{\sigma^2\cdot2\sigma^2}} = \frac{1}{\sqrt{2}}.$$ Então, quando você encontrar a correlação de exemplo de e para um grande conjunto de dados extraído de uma população com essas propriedades, que inclui "números aleatórios" como um caso especial, o resultado tende a se aproximar do valor de correlação populacional $$\frac{\sum_{i=1}^n\left(x_i - \bar{x}\right) \left((x_i-y_i) - (\bar{x}-\bar{y})\right)}{ \sqrt{\sum_{i=1}^n\left(x_i - \bar{x}\right)^2 \sum_{i=1}^n\left((x_i-y_i) - (\bar{x}-\bar{y})\right)^2}}$$ $x$$x-y$$\{(x_i,y_i)\colon 1 \leq i \leq n\}$$\frac{1}{\sqrt{2}} \approx 0.7071\ldots$

Uma explicação estatística-geométrica.

Imagine que você faça um gráfico de dispersão "de dentro para fora", onde os sujeitos são os eixos e as variáveis e são os pontos . Isso é chamado de gráfico de espaço do sujeito (em oposição ao gráfico de espaço variável usual ). Como há apenas 2 pontos a serem plotados, todas as dimensões nesse espaço, exceto apenas duas dimensões arbitrárias capazes de suportar os 2 pontos mais a origem, são redundantes e podem ser eliminadas com segurança. E assim ficamos com um avião. Desenhamos setas vetoriais da origem aos pontos: estas são nossas variáveis e como vetores no espaço sujeito dos dados.$n$ $2$ $X$$Y$$X$$Y$

Agora, se as variáveis ​​foram centralizadas , em um espaço sujeito, o cosseno do ângulo entre seus vetores é seu coeficiente de correlação . Na foto abaixo, os vetores e são ortogonais: seus . A falta de correlação foi um pré-requisito descrito por @Dilip em sua resposta.Y r = $X$$Y$$r=0$

Também para variáveis ​​centralizadas, seus comprimentos de vetor em um espaço de assunto são seus desvios padrão . Na foto, e têm o mesmo comprimento, - variações iguais também foram um pré-requisito feito pelo @Dilip.$X$$Y$

Para desenhar a variável ou a variável usamos apenas a adição ou subtração de vetores que esquecemos desde a escola (mova o vetor Y para o final do vetor X e inverta a direção no caso de subtração - isso é mostrado por setas cinza na foto, - desenhe um vetor para onde a seta cinza aponta).X + $X-Y$$X+Y$

Fica muito claro que o comprimento dos vetores ou (o desvio padrão dessas variáveis) é, pelo teorema de Pitágoras, , e o ângulo entre e ou é 45 graus, qual cosseno - a correlação - éX + Y $X-Y$$X+Y$ XX-YX+Y$\sqrt{2\sigma^2}$$X$$X-Y$$X+Y$$0.707...$

Eu acredito que há uma intuição simples baseada em simetria aqui também. Como X e Y têm as mesmas distribuições e covariância de 0, a relação de X ± Y com X deve "explicar" metade da variação em X ± Y; a outra metade deve ser explicado por Y. Assim, R ² deve ser 1/2, o que significa que R é 1 / √2 ≈ 0,707.

Aqui está uma maneira simples de pensar por que há uma correlação aqui.

Imagine o que acontece quando você subtrai duas distribuições. Se o valor de x for baixo, em média, x - yserá um valor mais baixo do que se o valor de x for alto. À medida que x aumenta, x - yaumente, em média, e, assim, uma correlação positiva.