Hipótese nula de Mann-Whitney sob variação desigual

Só estou curioso sobre a hipótese nula de um teste U de Mann-Whitney. Vejo frequentemente que a hipótese nula é que duas populações têm distribuições iguais. Mas estou pensando - se eu tivesse duas populações normais com a mesma variação média, mas extremamente desigual, o teste de Mann-Whitney provavelmente não detectaria essa diferença.

Também vi que a hipótese nula do teste de Mann-Whitney é ou a probabilidade de uma observação de uma população ( X ) exceder uma observação da segunda população ( Y ) (após exclusão de laços) é igual a 0,5. Isso parece fazer um pouco mais de sentido, mas não parece equivalente à primeira hipótese nula que afirmei.$\Pr(X>Y)=0.5$$X$$Y$

Espero conseguir um pouco de ajuda para desvendar isso. Obrigado!

O teste de Mann-Whitney é um caso especial de teste de permutação (a distribuição sob o nulo é derivada examinando todas as permutações possíveis dos dados) e os testes de permutação têm o nulo como distribuições idênticas, de modo que é tecnicamente correto.

Uma maneira de pensar a estatística do teste de Mann-Whitney é uma medida do número de vezes que um valor escolhido aleatoriamente de um grupo excede um valor escolhido aleatoriamente do outro grupo. Portanto, P (X> Y) = 0,5 também faz sentido e isso é tecnicamente uma propriedade de distribuições iguais nulas (assumindo distribuições contínuas em que a probabilidade de empate é 0). Se as 2 distribuições forem iguais, a probabilidade de X ser Maior que Y é 0,5, pois ambas são extraídas da mesma distribuição.

O caso declarado de 2 distribuições com a mesma média, mas variações muito diferentes, coincide com a 2ª hipótese nula, mas não com a 1ª de distribuições idênticas. Podemos fazer alguma simulação para ver o que acontece com os valores-p neste caso (em teoria, eles devem ser distribuídos uniformemente):

> out <- replicate( 100000, wilcox.test( rnorm(25, 0, 2), rnorm(25,0,10) )$p.value )
> hist(out)
> mean(out < 0.05)
[1] 0.07991
> prop.test( sum(out<0.05), length(out), p=0.05 )

        1-sample proportions test with continuity correction

data:  sum(out < 0.05) out of length(out), null probability 0.05
X-squared = 1882.756, df = 1, p-value < 2.2e-16
alternative hypothesis: true p is not equal to 0.05
95 percent confidence interval:
 0.07824054 0.08161183
sample estimates:
      p 
0.07991 

Então, claramente, isso é rejeitar com mais frequência do que deveria e a hipótese nula é falsa (isso corresponde à igualdade de distribuições, mas não a prob = 0,5).

Pensar em termos de probabilidade de X> Y também se depara com alguns problemas interessantes se você comparar populações que são baseadas nos Dados de Efron .

Mann-Whitney não é sensível a mudanças na variação com média igual, mas pode - como você vê na forma , detectar diferenças que levam a se desviar de (por exemplo, onde a média e a variância aumentam juntas). Muito claramente, se você tivesse duas normais com média igual, suas diferenças são simétricas em torno de zero. Portanto, , que é a situação nula.$P(X>Y)=0.5$$P(X>Y)$$0.5$$P(X>Y) = P(X-Y>0) = \frac{1}{2}$

Por exemplo, se você tem a distribuição de exponencial com média enquanto tem uma distribuição exponencial com média (uma mudança de escala), o Mann-Whitney é sensível a isso (na verdade, registrando os dois lados, é apenas um mudança de localização, e o Mann-Whitney não é afetado pela transformação monotônica).$Y$$1$$X$$k$

-

Se você estiver interessado em testes conceitualmente muito semelhantes aos de Mann-Whitney, sensíveis a diferenças de propagação sob a igualdade de medianas, existem vários testes desse tipo.

Há o teste de Siegel-Tukey e o teste de Ansari-Bradley, por exemplo, ambos intimamente relacionados ao teste de duas amostras de Mann-Whitney-Wilcoxon.

Ambos são baseados na idéia básica de classificar a partir dos fins.

Se você usa R, o teste Ansari-Bradley é construído em ... ?ansari.test

O Siegel-Tukey, na verdade, apenas faz um teste de Mann-Whitney-Wilcoxon nas classificações calculadas a partir da amostra de maneira diferente; se você mesmo classifica os dados, não precisa realmente de uma função separada para os valores-p. No entanto, você pode encontrar alguns, como aqui:

http://www.r-statistics.com/2010/02/siegel-tukey-a-non-parametric-test-for-equality-in-variability-r-code/

-

(em relação ao comentário dos ttnphns na minha resposta original)

Você interpretaria em excesso minha resposta para lê-la como discordando do @GregSnow em qualquer sentido particularmente substantivo. Certamente há uma diferença de ênfase e, até certo ponto, do que estamos falando, mas ficaria muito surpreso se houvesse muita discordância real por trás disso.

Vamos citar Mann e Whitney: "Uma estatística dependendo das posições relativas dos e , é proposta para testar a hipótese " . Isso é inequívoco; apoia totalmente a posição de @ GregSnow.$U$$x$$y$$f=g$

Agora, vamos ver como a estatística é construída: " Deixe contar o número de vezes que precede um$U$$y$$x$ " . Agora, se o nulo for verdadeiro, a probabilidade desse evento é ... mas existem outras maneiras de obter uma probabilidade de 0,5 e, nesse sentido, podemos interpretar que o teste pode funcionar em outras circunstâncias. Na medida em que eles estão estimando uma probabilidade (redimensionada) de > , isso suporta o que eu disse.$\frac{1}{2}$$Y$$X$

No entanto, para garantir que os níveis de significância sejam exatamente corretos, você precisará da distribuição de para corresponder à distribuição nula. Isso é derivado da suposição de que todas as permutações dos rótulos dos rótulos dos grupos e para as observações combinadas sob o nulo eram igualmente prováveis. Este é certamente o caso em . Exatamente como o @GregSnow disse.$U$$X$$Y$$f=g$

A questão é até que ponto esse é o caso (ou seja, que a distribuição da estatística de teste corresponde à derivada sob a suposição de que , aproximadamente), para o nulo mais geralmente expresso.$f=g$

Eu acredito que em muitas situações isso acontece; em particular para situações que incluem, mas são mais gerais do que as descritas (duas populações normais com a mesma média, mas extremamente desigual variação podem ser generalizadas um pouco sem alterar a distribuição resultante com base nas classificações), acredito que a distribuição da estatística de teste acaba tendo a mesma distribuição sob a qual foi derivada e, portanto, deve ser válida lá. Fiz algumas simulações que parecem apoiar isso. No entanto, nem sempre será um teste muito útil (pode ter pouca energia).

Não ofereço prova de que esse seja o caso. Apliquei algum argumento de intuição / ondulação manual e também fiz algumas simulações básicas que sugerem que é verdade - que o Mann-Whitney funciona (na medida em que tem a distribuição 'correta' sob o nulo) muito mais amplamente do que quando .$f=g$

Faça do que você quiser, mas não entendo isso como um desacordo substancial com o @GregSnow

Referência - Artigo original da Mann & Whitney