Intervalo de confiança e incerteza do valor P para o teste de permutação

Estou aprendendo testes de randomização agora. Há duas perguntas que vêm à minha mente:

1. Sim, é fácil e intuitivo como o valor-p é calculado com o teste de randomização (que eu acho que é o mesmo que teste de permutação?). No entanto, como também podemos gerar um intervalo de confiança de 95%, como fazemos com os testes paramétricos normais?

2. Enquanto estou lendo um documento da Universidade de Washington sobre testes de permutação , há uma frase na página 13 que diz:

   Com 1000 permutações ...., a incerteza próxima de p = 0,05 é de cerca de .$\pm 1\%$

   Eu me pergunto como conseguimos essa incerteza.

No entanto, como também podemos gerar um intervalo de confiança de 95%, como fazemos com testes paramétricos normais?

Aqui está uma maneira você poderia gerar um intervalo de um teste de reamostragem, embora não seja sempre apropriado para considerá-lo um intervalo de confiança . Para um exemplo específico, faça um teste para obter uma diferença de média de duas amostras. Considere mudar a segunda amostra por (que pode ser positiva ou negativa). Então, o conjunto de valores que levaria à não rejeição pelo teste no nível poderia ser usado como um intervalo de confiança nominalmente de para a diferença de médias.$^\dagger$$\delta$$\delta$$\alpha$$1-\alpha$

$\dagger$ Alguns autores (por exemplo, [1], p364 e segs , [2]) chamam um intervalo construído dessa maneira (valores de parâmetros não rejeitados pelo teste) como um intervalo de consonância - que é um nome melhor que o intervalo de confiança para ele (embora muitas pessoas simplesmente ignoram a diferença; por exemplo, acredito que Cox e Hinkley chamam esses intervalos de confiança) porque a abordagem não necessariamente fornece intervalos com a cobertura desejada (em muitas situações é possível ver que deveria); o nome transmite algo sobre o que o intervalo diz (um intervalo de valores consistente com os dados).

Gelman inclui uma discussão sobre por que às vezes pode ser problemático considerá-los universalmente como intervalos de confiança aqui .

No entanto, não é difícil explorar a cobertura sob conjuntos específicos de suposições (via simulação), e não há falta de pessoas chamando os intervalos de autoinicialização de "intervalos de confiança" (mesmo quando às vezes são vistos como tendo a cobertura reivindicada).

Mais detalhes sobre como fazê-lo no caso de diferença de médias de duas amostras são discutidos em [3], onde são chamados intervalos de confiança de randomização e é feita uma reivindicação sobre quando eles são exatos (que afirmam que eu não tenho ' tentei avaliar).

Com 1000 permutações ...., a incerteza próxima de p = 0,05 é de cerca de ± 1%.

Eu me pergunto como conseguimos essa incerteza?

O valor p estimado é uma proporção binomial direta. Portanto, ele possui o mesmo erro padrão que qualquer outra proporção binomial, .$\sqrt{\frac{p(1-p)}{n}}$

Portanto, se e , o erro padrão da proporção observada é de cerca de . Um IC de seria [como alternativa, é cerca de erros padrão de cada lado, o que corresponderia a um intervalo de confiança para o valor p subjacente de um pouco mais de ]$p = 0.05$$n=1000$$0.0069$$90\%$$\pm 1.13\%$$\pm 1\%$$1.45$$85\%$

Então, pelo menos em um sentido aproximado, você poderia falar sobre a incerteza ser "cerca de 1%"

-

[1] Kempthorne e Folks (1971),
Probabilidade, Estatística e análise de dados ,
Iowa State University Press

[2] LaMotte LR e Volaufová J, (1999),
"Intervalos de Predição por Intervalos de Consonância",
Journal of the Royal Statistical Society. Série D (Estatístico) , vol. 48, No. 3, pp. 419-424

[3] Ernst, MD (2004),
"Métodos de Permutação: Uma Base para Inferência Exata", Statistical Science , vol. 19, nº 4, 676-685