Qual é esse truque ao adicionar 1 aqui?

Eu estava olhando esta página na implementação de Monte Carlo do teste de Lillefors. Eu não entendo esta frase:

Há um erro aleatório neste cálculo da simulação. No entanto, devido ao truque de adicionar 1 ao numerador e denominador no cálculo do valor P, ele pode ser usado diretamente, sem levar em consideração a aleatoriedade.

O que eles querem dizer com o truque de adicionar 1 ao numerador e denominador?

O trecho de código relevante está aqui:

n <- length(x)
nsim <- 4999
d.star <- double(nsim)
for (i in 1:nsim) {
    x.star <- rnorm(n)
    d.star[i] <- fred(x.star)
}
hist(d.star)
abline(v = d.hat, lty = 2)
## simulation-derived P-value
pval <- (sum(d.star > d.hat) + 1) / (nsim + 1)

monte-carlo lilliefors

— Aksakal
fonte

Você pode adicionar o contexto relevante aqui?

— gung - Restabelece Monica

Parece que a suavização de Laplace para o estimador de probabilidades de Monte Carlo, o que reduz para 1/2; O principal efeito é provavelmente evitar obter um valor-p igual a 0, como observou @Tim (embora não haja risco de dividir por 0, como ele disse, a menos que você esteja fazendo 0 simulações). Eu realmente não vejo por que isso permite que você o use "sem considerar a aleatoriedade", no entanto.

— Dougal

Você escreveu Geyer diretamente para perguntar o que a frase significa?

— Alexis

@ Alexis, não, mas é uma boa ideia.

— Aksakal

@ Dougal, sim, parece com a suavização de Laplace. Não está claro por que ele está aplicando aqui.

— Aksakal

Respostas:

A explicação na página referenciada é

Sob a hipótese nula, a probabilidade é exatamente quando são consideradas a aleatoriedade nos dados e a aleatoriedade na simulação. $\Pr(P \le k / n_\text{sim})$ $k / n_\text{sim}$

Para entender isso, precisamos examinar o código, cujas linhas-chave (consideravelmente abreviadas) são

fred <- function(x) {ks.test(...)$statistic}  # Apply a statistical test to an array
d.hat <- fred(x)                              # Apply the test to the data
d.star <- apply(matrix(rnorm(n*nsim), n, nsim),
                2, fred)                      # Apply the test to nsim simulated datasets
pval <- (sum(d.star > d.hat) + 1) / (nsim + 1)# Estimate a simulation p-value

O principal problema é que o código não corresponde à cotação. Como podemos reconciliá-los? Uma tentativa começa com a última metade da cotação. Podemos interpretar o procedimento como compreendendo as seguintes etapas:

Recolha de dados distribuídos de forma independente e identicamente de acordo com uma lei de probabilidade . Aplique um procedimento de teste (implementado no código as ) para produzir o número . $X_1, X_2, \ldots, X_n$ $G$ $t$ fred $T_0=t(X_1, \ldots, X_n)$
Gerar via computador conjuntos de dados comparáveis, cada um de tamanho , de acordo com uma hipótese nula com a lei probabilidade . Aplicar para cada tal conjunto de dados para produzir números . $N=n_\text{sim}$ $n$ $F$ $t$ $N$ $T_1,T_2,\ldots,T_N$
Calcular
$P = (\sum_{i = 1}^{N} I (T_{i} > T_{0}) + 1) / (N + 1) .$ $P = \left(\sum_{i=1}^N I(T_i \gt T_0) + 1\right) / (N+1).$
$I$ d.star > d.hat $T_0$ $T_i$

$F=G$ $\alpha$ $0 \lt \alpha \lt 1$ $N+1$ $1$ $P\le \alpha$ $\alpha$ $(N+1)\alpha - 1$ $T_i$ $T_0$ $T_0$ $(N+1)\alpha$ $N+1$ $T_0$ $T_i$ $F$ $\lfloor (N+1)\alpha\rfloor$

Pr (P \leq α) = \frac{⌊ (N + 1) α ⌋}{N + 1} \approx α

$\Pr(P\le \alpha)=\frac{\lfloor(N+1)\alpha\rfloor}{N+1} \approx \alpha$

(N + 1) α

$(N+1)\alpha$

k

$k$

α = k / (N + 1)

$\alpha = k/(N+1)$

$[0,1]$ $N+1$ $\alpha$ $k/(N+1) = k/(n_\text{sim}+1)$ $P$ a caixa de diálogo que publiquei sobre o valor de p. )

$n_\text{sim}+1$ $n_\text{sim}$

— whuber
fonte

Eu acredito que aqui, 1 é adicionado a ambos porque a estatística observada está incluída na distribuição de referência; se for esse o caso, é por causa da parte "pelo menos tão grande" da definição de valor-p.

Não sei ao certo porque o texto parece estar dizendo algo diferente, mas seria por isso que eu faria isso.

— Glen_b -Reinstate Monica
fonte

@whuber Não vejo como posso concordar. Nem todos os testes são testes de razão de verossimilhança; quando não são LRTs, que relevância pode ter a interpretação em termos de razão de verossimilhança?

— Glen_b -Replica Monica

@whuber Certamente pode fazer. Mas considere, por exemplo, um Wilcoxon-Mann-Whitney (ou, de fato, testes de permutação mais amplamente). Existe um grande número de testes perfeitamente razoáveis em amplo uso que não são um teste de Lilliefors nem um teste de razão de verossimilhança. Quando há uma alternativa clara contra a qual o poder é desejado, geralmente é possível construir uma estatística de teste significativa, onde a ordem no espaço da amostra fornecida pela estatística de teste faz todo o sentido e possui propriedades razoáveis em uma ampla variedade de alternativas.

— Glen_b -Reinstala Monica

Certamente, ao criar uma estatística de teste que corresponda (no sentido de obter valores mais extremos, maiores ou menores) ao tipo de alternativa em que você está interessado, está apelando para "o tipo de alternativa em que está interessado. "- mas mesmo se alguém usasse um teste inadmissível (de fato, até mesmo um teste inútil), o princípio que descrevi em minha resposta de incluir a amostra observada nos resultados simulados ainda se aplicaria. Depois de fazer um pedido, mesmo que não seja o melhor, ao calcular valores-p, o caso observado ainda pertenceria à contagem.

— Glen_b -Reinstala Monica

@ whuber não podemos estar tão distantes agora. Ao escolher uma estatística de teste razoável, certamente quereríamos apelar para alguma coisa . Mas uma vez que tenhamos uma estatística de teste (como devemos ter no momento em que estamos simulando sob o nulo), já o fizemos. E uma vez que tenhamos, a razão pela qual incluiríamos o caso observado em nosso cálculo do valor-p é por causa do que é um valor-p.

— Glen_b -Reinstala Monica

Acho que não temos nenhuma diferença. (Observe que minha própria resposta deixa claro que a inclusão da amostra observada na contagem é apropriada.) Meu comentário não foi direcionado à sua resposta à pergunta (com a qual eu concordo e voto a favor), mas apenas à frase problemática "pelo menos tão grande. " Vejo essa frase mal interpretada em tantos lugares deste site (e em outros lugares) que queria chamar a atenção dos leitores para o que realmente deveria significar.

— whuber