Cálculo da expectativa matemática do coeficiente de correlação ou na regressão linear

Estou postando novamente uma pergunta em math.stackexchange.com , acho que a resposta atual em math.se não está correta.

Selecione números de um conjunto , é o th número selecionado, e é o posto de nos números. A seleção é sem substituição. é sempre menor do que . A classificação é a ordem do número a depois que os números são classificados em ordem crescente.$n$$\{1,2,...,U\}$$y_i$$i$$x_i$$y_i$$n$$n$$U$$n$

Podemos obter pontos de dados . E uma linha de melhor ajuste para esses pontos de dados pode ser encontrada por regressão linear. (coeficiente de correlação) é a qualidade da linha de ajuste. Quero calcular ou (correlação de determinação) .$n$$(x_1, y_1), (x_2, y_2), ..., (x_n, y_n)$$r_{xy}$$\mathbb{E}(r_{xy})$$\mathbb{E}(r_{xy}^2)$

Se o não puder ser calculado, uma estimativa ou limite inferior ainda estará OK.$\mathbb{E}[r_{xy}]$

Atualizado: ao calcular o coeficiente de correlação da amostra usando dados gerados aleatoriamente, podemos ver que está bastante fechado para 1, então quero provar isso da visão teórica ou dizer teoricamente que os dados gerados pelo método acima são muito linear.$r_{xy}$

Atualizado: É possível obter a distribuição do coeficiente de correlação da amostra?

Re-organizar o problema em termos de novas variáveis, de modo que . Então temos , como @whuber apontou nos comentários. Portanto, você está efetivamente regredindo em , e . Portanto, se pudermos calcular a distribuição marginal para e mostrar que ela é basicamente linear em o problema está resolvido e teremos .$1\leq z_1<z_2<\dots<z_n\leq U$$(x_i,y_i)=(x_i,z_{x_i})$$z_j$$j$$r_{xy}=r_{xz}$$z_j$$j$$r_{xy}\sim 1$

Primeiro precisamos da distribuição conjunta para . Isso é bastante simples, depois de você ter a solução, mas não achei isso claro antes de fazer as contas. Apenas uma breve lição sobre matemática valendo a pena - então apresentarei a matemática primeiro, depois a resposta fácil.$z_1,\dots,z_n$

Agora, a distribuição da junta original é . Alterar variáveis ​​simplesmente renomeia as coisas para probabilidades discretas e, portanto, a probabilidade ainda é constante. No entanto, a rotulagem não é 1 para 1, portanto, não podemos simplesmente escrever . Em vez disso, temos$p(y_1,\dots,y_n)\propto 1$$p(z_1,\dots,z_n)=\frac{(U-n)!}{U!}$

$$\begin{array}\\p(z_1,\dots,z_n)=\frac{1}{C} & 1\leq z_1<z_2<\dots<z_n\leq U\end{array}$$

E podemos encontrar pela normalização $C$

$$C=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_2=2}^{z_3-1}\sum_{z_1=1}^{z_2-1}(1)=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_2=2}^{z_3-1}(z_2-1)$$ $$=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_3=2}^{z_4-1}\frac{(z_3-1)(z_3-2)}{2}=\sum_{z_n=n}^{U}\dots\sum_{z_4=4}^{z_5-1}\frac{(z_4-1)(z_4-2)(z_4-3)}{(2)(3)}$$ $$=\sum_{z_n=n}^{U}\sum_{z_{n-1}=n-1}^{z_n-1}\dots\sum_{z_{j}=j}^{z_{j+1}-1}{z_j-1 \choose j-1}={U \choose n}$$

O que mostra que a taxa de mudança de nome é igual a - para cada há . Faz sentido porque qualquer permutação dos rótulos em leva ao mesmo conjunto de valores classificados . Agora, a distribuição marginal , repetimos acima, mas com a soma de reduzida e um intervalo diferente de soma para o restante, a saber, os mínimos mudam de para e obtemos:$\frac{(U-n)!}{U!}{U \choose n}=\frac{1}{n!}$$(z_1,\dots,z_n)$$n!$ $(y_1,\dots,y_n)$$y_i$$z_i$$z_1$$z_1$$(2,\dots,n)$$(z_1+1,\dots,z_1+n-1)$

$$p(z_1)=\sum_{z_n=z_1+n-1}^{U}\;\;\sum_{z_{n-1}=z_1+n-2}^{z_n-1}\dots\sum_{z_2=z_1+1}^{z_3-1}p(z_1,z_2,\dots,z_n)=\frac{{U-z_1 \choose n-1}}{{U \choose n}}$$

Com suporte . Este formulário, combinado com um pouco de intuição, mostra que a distribuição marginal de qualquer pode ser por:$z_1\in\{1,2,\dots,U+1-n\}$$z_j$

1. escolhendo valores de abaixo de , o que pode ser feito de (se );$j-1$$z_j$${z_j-1\choose j-1}$$z_j\geq j$
2. escolhendo o valor , que pode ser feito de 1 maneira; e$z_j$
3. escolhendo valores acima de que pode ser feito de maneiras (se )$n-j$$z_j$${U-z_j\choose n-j}$$z_j\leq U+j-n$

Esse método de raciocínio generaliza com esforço as distribuições conjuntas, como (que pode ser usado para calcular o valor esperado da covariância da amostra, se você desejar). Portanto, temos:$p(z_j,z_k)$

$$\begin{array}{c c}\\p(z_j)=\frac{{z_j-1\choose j-1}{U-z_j\choose n-j}}{{U \choose n}} & j\leq z_j\leq U+j-n \\p(z_j,z_k)=\frac{{z_j-1\choose j-1}{z_k-z_j-1 \choose k-j-1}{U-z_k\choose n-k}}{{U \choose n}} & j\leq z_j\leq z_k+j-k\leq U+j-n \end{array}$$

Agora, o marginal é o pdf de uma distribuição hipergeométrica negativa com os parâmetros (em termos da notação do artigo). Agora isso é claro, não linear exatamente em , mas a expectativa marginal para é$k=j,r=n,N=U$$j$$z_j$

$$E(z_j)=j\frac{U+1}{n+1}$$

Isso é de fato linear em e você esperaria o coeficiente beta de da regressão e interceptação de zero.$j$$\frac{U+1}{n+1}$

ATUALIZAR

Parei minha resposta um pouco antes. Agora concluímos esperançosamente uma resposta mais completa

Permitindo e , o quadrado esperado de a covariância de amostra entre e é dada por:$\overline{j}=\frac{n+1}{2}$$\overline{z}=\frac{1}{n}\sum_{j=1}^{n}z_j$$j$$z_j$

$$E[s_{xz}^2]=E\left[\frac{1}{n}\sum_{j=1}^{n}(j-\overline{j})(z_j-\overline{z})\right]^2$$ $$=\frac{1}{n^2}\left[\sum_{j=1}^{n}(j-\overline{j})^2E(z_j^2)+2\sum_{k=2}^{n}\sum_{j=1}^{k-1}(j-\overline{j})(k-\overline{j})E(z_jz_k)\right]$$

Então precisamos , onde e (usando a fórmula no arquivo pdf). Então a primeira soma se torna$E(z_j^2)=V(z_j)+E(z_j)^2=Aj^2+Bj$$A=\frac{(U+1)(U+2)}{(n+1)(n+2)}$$B=\frac{(U+1)(U-n)}{(n+1)(n+2)}$

$$\sum_{j=1}^{n}(j-\overline{j})^2E(z_j^2)=\sum_{j=1}^{n}(j^2-2j\overline{j}+\overline{j}^2)(Aj^2+Bj)$$ $$=\frac{n(n-1)(U+1)}{120}\bigg( U(2n+1)+(3n-1)\bigg)$$

Também precisamos de . $E(z_jz_k)=E[z_j(z_k-z_j)]+E(z_j^2)$

$$E[z_j(z_k-z_j)]=\sum_{z_k=k}^{U+k-n}\sum_{z_j=j}^{z_k+j-k}z_j(z_k-z_j) p(z_j,z_k)$$ $$=j(k-j)\sum_{z_k=k}^{U+k-n}\sum_{z_j=j}^{z_k+j-k}\frac{{z_j\choose j}{z_k-z_j \choose k-j}{U-z_k\choose n-k}}{{U \choose n}}=j(k-j)\sum_{z_k=k}^{U+k-n}\frac{{z_k+1 \choose k+1}{U+1-(z_k+1)\choose n-k}}{{U \choose n}}$$ $$=j(k-j)\frac{{U+1\choose n+1}}{{U \choose n}}=j(k-j)\frac{U+1}{n+1}$$ $$\implies E(z_jz_k)=jk\frac{U+1}{n+1}+j^2\frac{(U+1)(U-n)}{(n+1)(n+2)}+j\frac{(U+1)(U-n)}{(n+1)(n+2)}$$

E a segunda soma é:

$$2\sum_{k=2}^{n}\sum_{j=1}^{k-1}(j-\overline{j})(k-\overline{j})E(z_jz_k)$$ $$=\frac{n(U+1)(n-1)}{720(n+2)}\bigg(6(U-n)(n^3-2n^2-9n-2) + (n+2)(5 n^3- 24 n^2- 35 n +6)\bigg)$$

E assim, depois de algumas manipulações bastante tediosas, você obtém o valor esperado da covariância ao quadrado de:

$$E[s_{xz}^2]=\frac{(n-1)(n-2)U(U+1)}{120}-\frac{(U+1)(n-1)(n^3+2n^2+11n+22)}{720(n+2)}$$

Agora, se temos , o primeiro termo domina como , enquanto o segundo termo é . Podemos mostrar que o termo dominante é bem aproximado por , e temos outra razão teórica pela qual a correlação de pearson é muito próxima de (além do fato de ).$U>>n$$O(U^2n^2)$$O(Un^3)$$E[s_{x}^2s_{z}^2]$$1$$E(z_j)\propto j$

Agora, a variação esperada da amostra de é apenas a variação da amostra, que é . A variação esperada da amostra para é dada por:$j$$s_x^2=\frac{1}{n}\sum_{j=1}^{n}(j-\overline{j})^2=\frac{(n+1)(n-1)}{12}$$z_j$

$$E[s_z^2]=E\left[\frac{1}{n}\sum_{j=1}^{n}(z_j-\overline{z})^2\right]=\frac{1}{n}\sum_{j=1}^{n}E(z_j^2)-\left[\frac{1}{n}\sum_{j=1}^{n}E(z_j)\right]^2$$ $$=\frac{A(n+1)(2n+1)}{6}+\frac{B(n+1)}{2}-\frac{(U+1)^2}{4}$$ $$=\frac{(U+1)(U-1)}{12}$$

Combinando tudo junto, e observando que , temos:$E[s_x^2s_z^2]=s_x^2E[s_z^2]$

$$E[s_x^2s_z^2]=\frac{(n+1)(n-1)(U+1)(U-1)}{144}\approx \frac{(n-1)(n-2)U(U+1)}{120}\approx E[s_{xz}^2]$$

Que é aproximadamente a mesma coisa que$E[r_{xz}^2]\approx 1$

Se você deseja apenas mostrar que deve estar próximo de 1 e calcular um limite inferior para isso, é simples, porque isso significa que para e você só precisa maximizar a variação dos resíduos. Isso pode ser feito exatamente de quatro maneiras simétricas. Os dois extremos (correlações mais baixas e mais altas possíveis) são ilustrados para .$r^2_{xy}$$U$$n$$U=20, n=9$

Para valores grandes de e valores apropriados de , pode realmente chegar perto de 0. Por exemplo, com e valores muito grandes de , no pior dos casos.$U$$n$$r^2_{xy}$$n=100$$U \gg n$$r^2_{xy} \sim 0.03$