Teste de significância na diferença do coeficiente de correlação de Spearman

(Muito obrigado pelas respostas rápidas! Fiz um péssimo trabalho ao fazer a pergunta, então deixe-me tentar novamente.)

Não sei como descobrir se a diferença entre as duas correlações de Spearman é estatisticamente significativa. Eu gostaria de saber como descobrir.

A razão pela qual eu queria descobrir é que, no seguinte artigo: Interpretação semântica da Wikipedia para processamento de linguagem natural , por Gabrilovich e Markovitch ( Journal of Artificial Intelligence Research 34 (2009) 443-498).

Na Tabela 2 (p. 457), os autores estão mostrando que seu método (ESA-Wikipedia) alcança uma correlação de Spearman mais alta e estatisticamente significativa do que outros métodos, e eu gostaria de fazer o mesmo para mostrar que meu método é melhor que o anterior métodos para algum problema.

Não sei como eles calcularam a significância estatística e gostaria de saber. O autor do artigo afirmou que a correlação de classificação de Spearman foi tratada como correlação de Pearson. Não tenho certeza se esse é o caminho certo para fazê-lo. Tenho duas correlações de Spearman e gostaria de saber se a diferença entre elas é estatisticamente significativa ou não.

Estou ciente de que sites, como http://faculty.vassar.edu/lowry/rdiff.html , fornecem calculadora on-line para obter a diferença entre duas correlações de Pearson. Não consigo encontrar uma calculadora on-line semelhante para a diferença entre as duas correlações de Spearman.

Uma solução a partir do link fornecido por Peter Flom

NOTA: Os procedimentos suportam apenas as correlações de Spearman abaixo de 0,6.

Deixe- = a Fisher transformar da correlação observada do conjunto , = a Fisher transformar da correlação observada do conjunto . $z_A$ $A$ $z_B$ $B$
Para , deixe , onde é a transformação de Fisher do conjunto da correlação de um lado esquerdo obtida por excluir , reclassificar e recalcular a correlação. (Cada é baseado em $i = 1,\dots,n$ $y_{A_i} = nz_A- (n - 1)z_{A'i}$ $z_{A'i}$ $A$ $(x_i,y_i)$ $z_{A'i}$ pares; cada eliminação é temporário, por que eu só, não é permanente.) Repita para set . $n-1$ $B$
é a jackknifed Fisher transformar. Repita o procedimento para set. $\bar y_A = \sum y_{A_i}/n$ $B$
é a variância de . Repita o procedimento para set . $v_{\bar y_A} = \sum (y_{A_i}-\bar y_A)^2 /(n(n-1))$ $\bar y_A$ $B$
Use um heteroscedástico (Welch-Satterthwaite) -teste para comparar as duas estimativas jackknifed: $t$

ondeesão o número de amostras do conjuntoerespectivamente.

t = \frac{{\bar{y}}_{A} - {\bar{y}}_{B}}{\sqrt{v_{{\bar{y}}_{A}} + v_{{\bar{y}}_{B}}}}, df = \frac{(v_{{\bar{y}}_{A}} + v_{{\bar{y}}_{B}})^{2}}{\frac{v_{{\bar{y}}_{A}}^{2}}{n_{A} - 1} + \frac{v_{{\bar{y}}_{B}}^{2}}{n_{B} - 1}}

$t = \frac{\bar y_A - \bar y_B}{\sqrt{v_{\bar y_A} + v_{\bar y_B}}},\quad \text{df}=\frac{(v_{\bar y_A} + v_{\bar y_B})^2}{\frac{v_{\bar y_A}^2}{n_A-1}+\frac{v_{\bar y_B}^2}{n_B-1}}$

n_{A}

$n_A$

n_{B}

$n_B$

A

$A$

B

$B$

Antes da primeira edição

Eu tenho um conjunto de classificações com classificação humana (HUMAN-RANKING), um conjunto de classificações gerado pelo método popular atualmente usado (PRESENT-RANKING) e, finalmente, um conjunto de classificações gerado pelo meu método proposto (MY-RANKING) .

Calculei a correlação de Spearman entre HUMAN-RANKING e PRESENT-RANKING. Deixe-me chamar assim: HUMAN-PRESENT-SPEARMAN.

Descobri então a correlação de Spearman entre HAN-RANKING e MY-RANKING. Deixe-me chamar assim: HUMAN-MY-SPEARMAN.

Como posso descobrir se a diferença entre HUMAN-MY-SPEARMAN e HUMAN-PRESENT-SPEARMAN é estatisticamente significativa?

hypothesis-testing statistical-significance spearman-rho

— Patrick Chan
fonte

Bem-vindo Patrick. Estou lutando com o mesmo problema, mas com Pearson r. Se você verificar minhas entradas, terá uma ideia do que pode fazer.

— Adhesh Josh

Embora você possa ter dificuldade em enquadrar essa questão em termos estatísticos - seria útil se soubéssemos exatamente em que você estava interessado. Você está interessado na proximidade da correlação (com que precisão as pontuações se prevêem) ou na existência de um relacionamento mais que acaso. Dado que você parece ter classificado os dados, repetidos no tempo, pode ser útil ler alguns coeficientes de correlação intra-classe. Espero ter esse direito, a questão não está completamente clara.

— Página

Obrigado Adhesh e Rosser. Sinto muito pela minha má descrição da minha pergunta. Eu reescrevi. Espero que tenha se tornado uma pergunta compreensível.

— Patrick Chan

Oi! Atualmente, estou lutando com o mesmo problema. Por acaso, você tem um código pronto que implementa sua sugestão? Além disso, por que funciona apenas para valores de correlação abaixo de 0,6?

— Fsociety 14/10

O artigo que você cita explica o método nos seguintes termos:

[...] mostramos a significância estatística da diferença entre o desempenho da versão ESA-Wikipedia (26 de março de 2006)) e o de outros algoritmos usando a transformação z de Fisher (Press, Teukolsky, Vetterling & Flannery, Numerical Receitas em C: The Art of Scientific Computing, Cambridge University Press, 1997, Seção 14.5).

Sugiro que você siga essa referência ou consulte a página da Wikipedia no coeficiente de Spearman para obter detalhes.

— Guillermo G.
fonte

Obrigado Guillermo. Suspeitei que eles tratassem a correlação de classificação de Spearman como correlação de Pearson e calculassem a diferença das duas correlações de Pearson. No entanto, parece-me que não é a maneira correta de fazê-lo, e estou fazendo um post aqui.

— Patrick Chan

Você conhece alguma implementação em funcionamento (de preferência on-line), porque é isso que o OP procura?

— Chl