Distribuição da correlação da amostra

Suponha que eu tenha uma grande população de pontos de dados e que a correlação de Pearson seja $(x,y)$

corr (X, Y) = ρ

$\textrm{corr}(X,Y) = \rho$

O que posso dizer razoavelmente sobre a correlação que espero observar em uma amostra de tamanho ? Se a correlação da amostra for , aproximadamente qual é o spread ? É tendenciosa? $n$ $\rho_s$ $\rho_s$ $\rho_s$

Se fizermos algumas suposições como normalidade, podemos calcular a função de probabilidade exata de como uma função de ? $\rho_s$ $\rho$

(Por fim, estou pensando no problema de saber se uma correlação alta observada é um acaso ou não, e tudo o que tenho é o tamanho da amostra e a correlação.)

correlation

— Mark Eichenlaub
fonte

onestop forneceu uma resposta que, com sorte, lhe dará o suficiente para continuar. Se você realmente deseja saber sobre a distribuição do coeficiente de correlação da amostra em si, a referência definitiva é: Hotelling, H. (1953). Nova luz sobre o coeficiente de correlação e suas transformações. Jornal da Sociedade Estatística Real, Série B, 15, 193-232. Observe que isso não é leitura clara.

— Wolfgang

Eu não acho que seus gráficos estão certos. Acabei de desenhar alguns gráficos da distribuição derivada da fórmula de Fisher, que mostram que está corretamente centralizada. De fato, é bastante óbvio a partir da fórmula que deve ser assintoticamente imparcial para . Você poderia postar o núcleo matemático do seu código?

N \to \infty

$N \rightarrow \infty$

— onestop

@onestop Claro. Adicionado código do Mathematica.

— Mark Eichenlaub

Não é assim que os pdfs se transformam - é um pouco mais complicado. Veja en.wikipedia.org/wiki/…

— onestop

@ onestop Claro. Obrigado. Percebi que havia um problema depois que eu publiquei o código, mas levaria um tempo para descobrir como corrigi-lo.

— Mark Eichenlaub

Para citar o artigo da Wikipedia sobre a transformação de Fisher :

Se tiver uma distribuição normal bivariada e se os pares usados para formar o coeficiente de correlação da amostra forem independentes para então $(X, Y)$ $(X_i, Y_i)$ $r$ $i = 1, \ldots, n,$ é distribuído aproximadamente normalmente com média

z = \frac{1}{2} \ln \frac{1 + r}{1 - r} = arctanh (r)

$z = {1 \over 2}\ln{1+r \over 1-r} = \operatorname{arctanh}(r)$

e o erro padrão

\frac{1}{2} \ln \frac{1 + ρ}{1 - ρ},

${1 \over 2}\ln{{1+\rho} \over {1-\rho}},$

onde

é o tamanho da amostra.

\frac{1}{\sqrt{N - 3}},

${1 \over \sqrt{N-3}},$

N

$N$

— uma parada
fonte

desculpe-me por não aceitar. Quando tentei usar essa resposta, descobri que não funcionava para a situação em que me interessava (altos coeficientes de correlação).

— Mark Eichenlaub

@ Marcos, eu fiz algumas simulações com R, tudo é válido bonita para correlação 0,75

— mpiktas

@mpiktas Sim, você está certo, obrigado. Cometi um erro no meu caderno.

— Mark Eichenlaub

A distribuição exata é conhecida: é dada por uma função hipergeométrica .

— whuber