Dobrar as caudas no teste de permutação de duas amostras

Suponha que tenhamos duas amostras e desejamos determinar se elas são extraídas da mesma distribuição, como as amostras A, B sendo compostas por alguns números inteiros.

Se testarmos isso usando um teste de permutação de duas amostras, especificamente examinando permutações em que as diferenças nas médias das amostras são tão extremas quanto a diferença observada: existe alguma razão para pensar que podemos calcular o valor de p valor olhando uma cauda e dobrando a probabilidade?

É o que parece dizer nas minhas notas de aula, mas não entendo por que podemos assumir que as caudas são simétricas (ou por que não implica essa suposição). As explicações não foram divulgadas.

A distribuição de permutação de sua estatística de teste não é garantida como simétrica, portanto você não pode fazê-lo dessa maneira. Em vez disso, você adiciona as duas caudas. No seu caso de duas amostras independentes, a hipótese nula é que os dois parâmetros de localização são iguais. Assumindo distribuições contínuas e spread igual nos dois grupos, temos permutabilidade sob a hipótese nula. A estatística de teste é a diferença de médias, com abaixo do nulo.$T$$E(T) = 0$

O valor para na amostra original é e seus valores para as permutações . é a abreviação de "number of" alguma coisa, por exemplo, é o número de estatísticas de teste de permutação. Então, o valor- da hipótese bilateral é , em que$T$$T_{\text{emp}}$$T^{\star}$$\sharp(\cdot)$$\sharp(T^{\star})$$p$$p_{\text{ts}} = p_{\text{left}} + p_{\text{right}}$

$p_{\text{left}} = \frac{\sharp(T^{\star} \, <= \, \text{min}(T_{\text{emp}}, -T_{\text{emp}}))}{\sharp(T^{\star})}$

$p_{\text{right}} = \frac{\sharp(T^{\star} \, >= \, \text{max}(T_{\text{emp}}, -T_{\text{emp}}))}{\sharp(T^{\star})}$

(supondo que tenhamos a distribuição completa da permutação). Vamos comparar as duas abordagens para o caso de duas amostras independentes, quando podemos calcular a distribuição exata (completa) da permutação.

set.seed(1234)
Nj   <- c(9, 8)                      # group sizes
DVa  <- rnorm(Nj[1], 5, 20)^2        # data group 1
DVb  <- rnorm(Nj[2], 10, 20)^2       # data group 2
DVab <- c(DVa, DVb)                  # data from both groups
IV   <- factor(rep(c("A", "B"), Nj)) # grouping factor
idx  <- seq(along=DVab)              # all indices
idxA <- combn(idx, Nj[1])            # all possible first groups

# function to calculate test statistic for a given permutation x
getDM <- function(x) { mean(DVab[x]) - mean(DVab[!(idx %in% x)]) }
resDM <- apply(idxA, 2, getDM)       # test statistic for all permutations
diffM <- mean(DVa) - mean(DVb)       # empirical stest statistic

Agora calcule os valores de e valide a solução proposta com a implementação no pacote de R. Observe que , portanto, importa como você calcula .$p$coin$p_{\text{left}} \neq p_{\text{right}}$$p_{ts}$

> (pL <- sum(resDM <= min(diffM, -diffM)) / length(resDM))  # left p-value
[1] 0.1755245

> (pR <- sum(resDM >= max(diffM, -diffM)) / length(resDM))  # right p-value
[1] 0.1585356

> 2*pL        # doubling left p-value
[1] 0.351049

> 2*pR        # doubling right p-value
[1] 0.3170712

> pL+pR       # two-sided p-value
[1] 0.3340601

> sum(abs(resDM) >= abs(diffM)) / length(resDM)  # two-sided p-value (more concise)
[1] 0.3340601

# validate with coin implementation
> library(coin)              # for oneway_test()    
> oneway_test(DVab ~ IV, alternative="two.sided", distribution="exact")
Exact 2-Sample Permutation Test
data:  DVab by IV (A, B) 
Z = 1.0551, p-value = 0.3341
alternative hypothesis: true mu is not equal to 0 

PS No caso de Monte-Carlo, em que apenas amostramos da distribuição de permutação, os valores- seriam definidos assim:$p$

$p_{\text{left}} = \frac{\sharp(T^{\star} \, <= \, \text{min}(T_{\text{emp}}, -T_{\text{emp}})) + 1}{\sharp(T^{\star}) \, + \, 1}$

$p_{\text{right}} = \frac{\sharp(T^{\star} \, >= \, \text{max}(T_{\text{emp}}, -T_{\text{emp}})) +1 }{\sharp(T^{\star}) \, + \, 1}$

$p_{\text{ts}} = \frac{\sharp(\text{abs}(T^{\star}) \, >= \, \text{abs}(T_{\text{emp}})) \, + \, 1 }{\sharp(T^{\star}) + 1}$

A razão para adicionar intuitivamente mais um caso de permutação extrema é que precisamos contar a amostra empírica também. Caso contrário, o valor da permutação pode ser 0, o que não pode ocorrer no caso contínuo (veja aqui , nota: alguns textos recomendam essa correção, outros não).$p$