Número necessário de permutações para um valor p baseado em permutação

Se eu precisar calcular um valor baseado em permutação com nível de significância α , quantas permutações eu preciso?$p$$\alpha$

No artigo "Testes de permutação para estudar o desempenho do classificador" , página 5:

Na prática, o limite superior é normalmente usado para determinar o número de amostras necessárias para alcançar a precisão desejada do teste.$1/(2\sqrt{k})$

... onde é o número de permutações.$k$

Como calculo o número de permutações necessárias a partir desta fórmula?

Eu admito, o parágrafo pode ser confuso.

$\sqrt{\frac{p(1-p)}{k}}$

Então, quantas permutações k são necessárias para obter uma estimativa confiável?

$P$$[p-3*P,p+3*P]$

Usando o limite superior

$\frac{1}{2\sqrt{k}}$$\sqrt{\frac{p(1-p)}{k}}$

$\frac{1}{2\sqrt{k}}\le P$

$\frac{1}{4P^2}\le k$

Mas, como a fórmula citada representa um limite superior, essa abordagem é muito difícil.

Usando o erro no nível de significância

$\alpha$

$\sqrt{\frac{\alpha(1-\alpha)}{k}}\le P$

$\frac{(\alpha(1-\alpha))}{P^2}\le k$

$\alpha$$[p-3*P,p+3*P]$

Estendendo o intervalo de confiança

Essa abordagem corresponde ao centro do intervalo de confiança estar no limite de decisão. Para forçar o limite superior do intervalo de confiança do estimado p estar abaixo do limiar de decisão (que é mais correto), é necessário ...

$l\sqrt{\frac{\alpha(1-\alpha)}{k}}\le P$

$(l)^2\frac{(\alpha(1-\alpha))}{P^2}\le k$

onde l corresponde (veja novamente o gráfico )

| l | confidence interval |
| 1 | ~68 % |
| 2 | ~95 % |
| 3 | ~99 % |

Exemplos: Seja a precisão P desejada 0,005.

$k>=10000$

$\alpha=0.05$$k>=7600$

$\alpha=0.01$

Finalmente : sugiro enfatizar mais as simulações de Monte-Carlo. A Wikipedia fornece um começo.