Prove a equivalência das duas fórmulas a seguir para correlação de Spearman

Na wikipedia , a correlação de classificação de Spearman é calculada convertendo as variáveis e nas variáveis ​​classificadas e e calculando a correlação de Pearson entre as variáveis ​​classificadas:$X_i$$Y_i$$x_i$$y_i$

No entanto, o artigo continua afirmando que, se não houver vínculos entre as variáveis e , a fórmula acima será equivalente a$X_i$$Y_i$

onde , a diferença de classificação.$d_i = y_i - x_i$

Alguém pode dar uma prova disso, por favor? Não tenho acesso aos livros mencionados no artigo da Wikipedia.

$\rho = \frac{\sum_i(x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum_i (x_i-\bar{x})^2 \sum_i(y_i-\bar{y})^2}}$

Como não há vínculos, os 'e ' consistem nos números inteiros de a inclusive.y 1 $x$$y$$1$$n$

Portanto, podemos reescrever o denominador:

$\frac{\sum_i(x_i-\bar{x})(y_i-\bar{y})}{\sum_i (x_i-\bar{x})^2}$

Mas o denominador é apenas uma função de :$n$

$\sum_i (x_i-\bar{x})^2 = \sum_i x_i^2 - n\bar{x}^2 \\ \quad= \frac{n(n + 1)(2n + 1)}{6} - n(\frac{(n + 1)}{2})^2\\ \quad= n(n + 1)(\frac{(2n + 1)}{6} - \frac{(n + 1)}{4})\\ \quad= n(n + 1)(\frac{(8n + 4-6n-6)}{24})\\ \quad= n(n + 1)(\frac{(n -1)}{12})\\ \quad= \frac{n(n^2 - 1)}{12}$

Agora vamos ver o numerador:

$\sum_i(x_i-\bar{x})(y_i-\bar{y})\\ \quad=\sum_i x_i(y_i-\bar{y})-\sum_i\bar{x}(y_i-\bar{y}) \\ \quad=\sum_i x_i y_i-\bar{y}\sum_i x_i-\bar{x}\sum_iy_i+n\bar{x}\bar{y} \\ \quad=\sum_i x_i y_i-n\bar{x}\bar{y} \\ \quad= \sum_i x_i y_i-n(\frac{n+1}{2})^2 \\ \quad= \sum_i x_i y_i- \frac{n(n+1)}{12}3(n +1) \\ \quad= \frac{n(n+1)}{12}.(-3(n +1))+\sum_i x_i y_i \\ \quad= \frac{n(n+1)}{12}.[(n-1) - (4n+2)] + \sum_i x_i y_i \\ \quad= \frac{n(n+1)(n-1)}{12} - n(n+1)(2n+1)/6 + \sum_i x_i y_i \\ \quad= \frac{n(n+1)(n-1)}{12} -\sum_i x_i^2+ \sum_i x_i y_i \\ \quad= \frac{n(n+1)(n-1)}{12} -\sum_i (x_i^2+ y_i^2)/2+ \sum_i x_i y_i \\ \quad= \frac{n(n+1)(n-1)}{12} - \sum_i (x_i^2 - 2x_i y_i + y_i^2) /2\\ \quad= \frac{n(n+1)(n-1)}{12} - \sum_i(x_i - y_i)^2/2\\ \quad= \frac{n(n^2-1)}{12} - \sum d_i^2/2$

Numerador denominador

$= \frac{n(n+1)(n-1)/12 - \sum d_i^2/2}{n(n^2 - 1)/12}\\ \quad= {\frac {n(n^2 - 1)/12 -\sum d_i^2/2}{n(n^2 - 1)/12}}\\ \quad= 1- {\frac {6 \sum d_i^2}{n(n^2 - 1)}}\,$ ,.

Conseqüentemente

$\rho = 1- {\frac {6 \sum d_i^2}{n(n^2 - 1)}}.$

Vemos que na segunda fórmula aparece a distância euclidiana ao quadrado entre as duas variáveis ​​(classificadas): . A intuição decisiva no início será como pode estar relacionado a . Está claramente relacionado através do teorema do cosseno . Se tivermos as duas variáveis ​​centralizadas, o cosseno na fórmula do teorema vinculado é igual a (pode ser facilmente comprovado, consideraremos aqui como garantido). E (a norma euclidiana ao quadrado) é , soma dos quadrados em uma variável centralizada. Portanto, a fórmula do teorema é assim:$D^2= \Sigma d_i^2$$D^2$$r$$r$$h^2$$N \sigma^2$$D_{xy}^2 = N\sigma_x^2+N\sigma_y^2-2\sqrt N\sigma_x \sqrt N \sigma_yr$. Observe também outra coisa importante (que pode ter que ser comprovada separadamente): Quando os dados são classificados , é o mesmo para dados centralizados e não centralizados.$D^2$

Além disso, como as duas variáveis ​​foram classificadas, suas variações são as mesmas, , então .$\sigma_x=\sigma_y=\sigma$$D^2 = 2N\sigma^2-2N\sigma^2r$

$r= 1-\frac{D^2}{2N\sigma^2}$ . Lembre-se de que os dados classificados são de uma distribuição uniforme discreta com variação . Substituí-lo na fórmula deixa .$(N^2-1)/12$$r= 1-\frac{6D^2}{N(N^2-1)}$

A álgebra é mais simples do que pode parecer à primeira vista.

IMHO, há pouco lucro ou discernimento alcançado ao elaborar as manipulações algébricas. Em vez disso, uma identidade verdadeiramente simples mostra por que as diferenças ao quadrado podem ser usadas para expressar o coeficiente de correlação usual de Pearson. A aplicação disso no caso especial em que os dados são classificados produz o resultado. Apresenta o coeficiente até então misterioso

$$\frac{6}{n(n^2-1)}$$

como sendo metade do recíproco da variação das fileiras . (Quando existem empates, esse coeficiente adquire uma fórmula mais complicada, mas ainda será a metade da recíproca da variação das classificações atribuídas aos dados.)$1, 2, \ldots, n$

Depois de ver e entender isso, a fórmula se torna memorável. Fórmulas comparáveis ​​(mas mais complexas) que lidam com laços, aparecem em testes estatísticos não paramétricos, como o teste da soma da classificação de Wilcoxon, ou aparecem em estatísticas espaciais (como I de Moran, C de Geary e outras) tornam-se instantaneamente compreensíveis.

---

Considere qualquer conjunto de dados emparelhados com médias e e variações e . Ao atualizar as variáveis ​​em suas médias e e usar seus desvios padrão e como unidades de medida, os dados serão em termos dos valores padronizados$(X_i,Y_i)$$\bar X$$\bar Y$$s_X^2$$s_Y^2$$\bar X$$\bar Y$$s_X$$s_Y$

$$(x_i, y_i) = \left(\frac{X_i-\bar X}{s_X}, \frac{Y_i-\bar Y}{s_Y}\right).$$

Por definição , o coeficiente de correlação de Pearson dos dados originais é o produto médio dos valores padronizados,

$$\rho = \frac{1}{n}\sum_{i=1}^n x_i y_i.$$

A identidade de polarização relaciona produtos a quadrados. Para dois números e , afirma$x$$y$

$$xy = \frac{1}{2}\left(x^2 + y^2 - (x-y)^2\right),$$

o que é facilmente verificado. A aplicação disso a cada termo na soma fornece

$$\rho = \frac{1}{n}\sum_{i=1}^n \frac{1}{2}\left(x_i^2 + y_i^2 - (x_i-y_i)^2\right).$$

Como e foram padronizados, seus quadrados médios são ambos unidade, de onde$x_i$$y_i$

$$\rho = \frac{1}{2}\left(1 + 1 - \frac{1}{n}\sum_{i=1}^n (x_i-y_i)^2\right) = 1 - \frac{1}{2}\left(\frac{1}{n}\sum_{i=1}^n (x_i-y_i)^2\right).\tag{1}$$

O coeficiente de correlação difere do seu valor máximo possível, , pela metade da diferença quadrática média dos dados padronizados.$1$

Essa é uma fórmula universal para correlação, válida independentemente dos dados originais (desde que ambas as variáveis ​​tenham desvios padrão diferentes de zero). (Os leitores fiéis deste site reconhecerão isso como estando intimamente relacionado à caracterização geométrica da covariância descrita e ilustrada em Como você explicaria a covariância a alguém que entende apenas a média?. )

---

No caso especial em que e são classificações distintas , cada uma é uma permutação da mesma sequência de números . Assim, e, com um pouquinho de cálculo, encontramos$X_i$$Y_i$$1,2 , \ldots, n$$\bar X = \bar Y = (n+1)/2$

$$s_X^2 = s_Y^2 = \frac{1}{n} \sum_{i=1}^n (i - (n+1)/2)^2 = \frac{n^2 - 1}{12}$$

(que, felizmente, não é zero sempre que ). Portanto$n\gt 1$

$$(x_i - y_i)^2 = \frac{\left((X_i - (n+1)/2)- (Y_i - (n+1)/2)\right)^2}{(n^2-1)/12} = \frac{12(X_i-Y_i)^2}{n^2-1}.$$

Essa boa simplificação ocorreu porque e têm as mesmas médias e desvios padrão: a diferença de suas médias desapareceu e o produto tornou-se que não envolve raízes quadradas .$X_i$$Y_i$$s_X s_Y$$s_X^2$

A inserção disso na fórmula para fornece$(1)$$\rho$

$$\rho = 1 - \frac{6}{n(n^2-1)}\sum_{i=1}^n (X_i - Y_i)^2.$$

Os alunos do ensino médio podem ver as fórmulas de correlação PMCC e Spearman anos antes de terem as habilidades de álgebra para manipular a notação sigma, embora possam conhecer bem o método das diferenças finitas para deduzir a equação polinomial de uma sequência . Portanto, tentei escrever uma "prova do ensino médio" para a equivalência: encontrar o denominador usando diferenças finitas e minimizar a manipulação algébrica de somas no numerador. Dependendo dos alunos aos quais a prova é apresentada, você pode preferir essa abordagem ao numerador, mas combine-a com um método mais convencional para o denominador.

Denominador ,$\sqrt{\sum_i (x_i-\bar{x})^2 \sum_i(y_i-\bar{y})^2}$

Sem vínculos, os dados estão nas fileiras em alguma ordem, portanto é fácil mostrar . Podemos reordenar a soma , embora em alunos de séries mais baixas eu provavelmente escrevesse essa soma explicitamente, e não em notação sigma. A soma de um quadrático em será cúbica em , fato que os estudantes familiarizados com o método das diferenças finitas podem compreender intuitivamente: diferenciar um cúbico produz um quadrático, portanto, somar um quadrático produz um cúbico. Determinar os coeficientes de cúbico é simples se os alunos estiverem confortáveis ​​em manipular$\{1, 2,\dots, n\}$$\bar{x}=\frac{n + 1}{2}$$S_{xx}=\sum_{i=1}^{n} (x_i-\bar{x})^2 = \sum_{k=1}^{n} (k-\frac{n + 1}{2})^2$$k$$n$$f(n)$$\Sigma$notação e conheça (e lembre-se!) as fórmulas para e . Mas eles também podem ser deduzidos usando diferenças finitas, como segue.$\sum_{k=1}^{n} {k}$$\sum_{k=1}^{n} {k^2}$

Quando , o conjunto de dados é apenas , , então .$n=1$$\{1\}$$\bar{x}=1$$f(1)=(1-1)^2 = 0$

Para , os dados são , , então .$n=2$$\{1, 2\}$$\bar{x}=1.5$$f(2)=(1-1.5)^2 + (2-1.5)^2 = 0.5$

Para , os dados são , , então .$n=3$$\{1, 2, 3\}$$\bar{x}=2$$f(3)=(1-2)^2 + (2-2)^2 + (3-2)^2 = 2$

Esses cálculos são bastante breves e ajudam a reforçar o que a notação significa e, em pouco tempo, produzimos a tabela de diferenças finitas.$\sum_{i=1}^{n} (x_i-\bar{x})^2$

Podemos obter os coeficientes de acionando o método das diferenças finitas, conforme descrito nos links acima. Por exemplo, as constantes terceiras diferenças indicam que nosso polinômio é realmente cúbico, com o coeficiente à esquerda . Existem alguns truques para minimizar o trabalho árduo: um bem conhecido é usar as diferenças comuns para estender a sequência de volta para , pois saber que imediatamente liberta o coeficiente constante. Outra é tentar estender a sequência para ver se é zero para um número inteiro$f(n)$$\frac{0.5}{3!} = \frac{1}{12}$$n=0$$f(0)$$f(n)$$n$- por exemplo, se a sequência tivesse sido positiva, mas decrescente, valeria a pena estender-se para a direita para ver se poderíamos "pegar uma raiz", pois isso facilita a fatoração mais tarde. No nosso caso, a função parece pairar em torno de valores baixos quando é pequeno, então vamos estender ainda mais para a esquerda.$n$

Aha! Acontece que pegamos as três raízes: . Portanto, o polinômio possui fatores de , e . Por ser cúbico, deve ter a forma:$f(-1) = f(0) = f(1) = 0$$(n+1)$$n$$(n-1)$

$$f(n) = an(n+1)(n-1)$$

Podemos ver que deve ser o coeficiente de que já determinamos ser . Alternativamente, uma vez que , temos que leva à mesma conclusão. Expandir a diferença de dois quadrados dá:$a$$n^3$$\frac{1}{12}$$f(2) = 0.5$$a(2)(3)(1)=0.5$

$$S_{xx} = \frac{n(n^2-1)}{12}$$

Como o mesmo argumento se aplica a , o denominador é e nós terminamos. Ignorando minha exposição, esse método é surpreendentemente curto. Se for possível notar que o polinômio é cúbico, é necessário apenas calcular para os casos para estabelecer a terceira diferença é 0,5. Raiz caçadores só precisa de estender o para a esquerda da sequência de e , por, quando todos os três raízes são encontradas. Levei alguns minutos para encontrar dessa maneira.$S_{yy}$$\sqrt{S_{xx} S_{yy}} = \sqrt{S_{xx}^2} = S_{xx}$$S_{xx}$$n \in \{1,2,3,4\}$$n=0$$n=-1$$S_{xx}$

Numerador, $\sum_i(x_i-\bar{x})(y_i-\bar{y})$

Observo a identidade que pode ser reorganizada em:$(b-a)^2 \equiv b^2 - 2ab + a^2$

$$ab \equiv \frac{1}{2}\left(a^2 + b^2 - (b-a)^2 \right)$$

Se deixarmos que e temos o resultado útil que porque os meios, sendo idênticos, se cancelam. Essa foi a minha intuição para escrever a identidade em primeiro lugar; Eu queria mudar de trabalhar com o produto dos momentos para o quadrado de suas diferenças. Agora temos:$a = x_i - \bar{x} = x_i - \frac{n+1}{2}$$b = y_i - \bar{y} = y_i - \frac{n+1}{2}$$b-a = y_i - x_i = d_i$

$$(x_i - \bar{x})(y_i - \bar{y}) = \frac{1}{2}\left((x_i - \bar{x})^2 + (y_i - \bar{y})^2 - d_i^2 \right)$$

Esperamos que mesmo os alunos que não sabem como manipular a notação possam ver como a soma do conjunto de dados gera:$\Sigma$

$$S_{xy} = \frac{1}{2}\left(S_{xx} + S_{yy} - \sum_{i=1}^n{d_i^2}\right)$$

Já estabelecemos, reordenando as somas, que , deixando-nos com:$S_{yy} = S_{xx}$

$$S_{xy}=S_{xx} - \frac{1}{2} \sum_{i=1}^n{d_i^2}$$

A fórmula para o coeficiente de correlação de Spearman está ao nosso alcance!

$$r_S = \frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}} = \frac{S_{xx}-\frac{1}{2}\sum_i{d_i^2}}{S_{xx}} = 1 - \frac{\sum_i{d_i^2}}{2S_{xx}}$$

Substituindo o resultado anterior, concluirá o trabalho.$S_{xx}=\frac{1}{12}n(n^2-1)$

$$r_S = 1 - \frac{\sum_i{d_i^2}}{\frac{2}{12}n(n^2-1)} = 1 - \frac{6\sum_i{d_i^2}}{n(n^2-1)}$$