Dado o tamanho da amostra suficientemente grande, um teste sempre mostrará resultados significativos, a menos que o tamanho real do efeito seja exatamente zero. Por quê?

21

Estou curioso sobre uma afirmação feita no artigo da Wikipedia sobre tamanho de efeito . Especificamente:

[...] uma comparação estatística não nula sempre mostrará resultados estatisticamente significativos, a menos que o tamanho do efeito populacional seja exatamente zero

Não tenho certeza do que isso significa / implica, muito menos um argumento para apoiá-lo. Acho que, afinal, um efeito é uma estatística, ou seja, um valor calculado a partir de uma amostra, com sua própria distribuição. Isso significa que os efeitos nunca são devidos apenas a variações aleatórias (que é o que eu entendo que significa não ser significativo)? Consideramos apenas se o efeito é forte o suficiente - tendo alto valor absoluto?

Estou considerando o efeito com o qual estou mais familiarizado: o coeficiente de correlação de Pearson r parece contradizer isso. Por que qualquer seria estatisticamente significativo? Se for pequeno, nossa linha de regressão $r$ $r$

y = uma x + b = r (\frac{s_{y}}{s_{x}}) = ϵ x + b

$y=ax+b = r\left(\frac {s_y}{s_x}\right) = \epsilon x+b$

Para pequeno, é próximo de 0, um teste F provavelmente conterá um intervalo de confiança contendo 0 para a inclinação. Isso não é um contra-exemplo? $\epsilon$

hypothesis-testing

— Gary
fonte

10

Dica: a cláusula antes da parte que você citou é essencial. " Dado um tamanho de amostra suficientemente grande , uma comparação estatística não nula sempre mostrará resultados estatisticamente significativos, a menos que o tamanho do efeito populacional seja exatamente zero ..."

— Kodiologist

@ Kodiologist: Mas, re meu exemplo, isso implicaria que se o tamanho da amostra fosse maior, então r também seria maior, ou, pelo menos, a expressão

seria maior se o tamanho da amostra fosse maior? Eu não vejo isso.

r (s_{y} / s_{x})

$r(s_y/s_x)$

— Gary

5

Se isso não fosse verdade, seria uma falha no método estatístico. Se

, certamente algum tamanho de amostra é grande o suficiente para detectar a diferença.

μ > μ_{0}

$\mu > \mu_0$

— John Coleman

26

Como um exemplo simples, suponha que eu esteja estimando sua altura usando algum jumbo estatístico.

Você sempre declarou a outras pessoas que tem 177 cm de comprimento.

Se eu testasse essa hipótese (que sua altura é igual a 177 cm, ) e pudesse reduzir o erro na minha medida o suficiente, poderia provar que você não tem 177 cm. Eventualmente, se eu estimar sua altura em casas decimais suficientes, você quase certamente se desviará da altura declarada de 177.00000000 cm. Talvez você tenha 177,02 cm; Eu só tenho que reduzir meu erro para menos de 0,02 para descobrir que você não tem 177 cm. $h = 177$

Como reduzo o erro nas estatísticas? Obtenha uma amostra maior. Se você obtiver uma amostra grande o suficiente, o erro será tão pequeno que você poderá detectar os desvios mais minúsculos da hipótese nula.

— Minador
fonte

2

Esta é uma explicação muito clara e concisa. Provavelmente é mais útil entender por que isso acontece do que as respostas mais matemáticas. Bem feito.

— Ninguém

1

Bem explicado, mas acho que também é importante considerar que há casos em que o valor declarado é realmente exato. Por exemplo, deixando de lado coisas estranhas que acontecem na teoria das cordas, etc., uma medição do número de dimensões espaciais do nosso universo (o que pode ser feito) dará 3, e não importa o quão preciso você faça essa medição, você nunca encontre consistentemente desvios estatisticamente significativos de 3. Obviamente, se você continuar testando vezes suficientes, obterá alguns desvios simplesmente devido à variação, mas esse é um problema diferente.

— David Z

Provavelmente uma pergunta ingênua, mas se afirmo que tenho 177 cm, o conceito de dígitos significativos não significa que estou apenas dizendo que estou entre 176,5 e 177,5? A resposta parece dar um bom conceito teórico, é verdade, mas não é baseado em uma premissa falsa? o que estou perdendo?

— precisa saber é o seguinte

Nesse caso, a altura declarada de 177 é análoga à hipótese nula na estatística. No teste de hipóteses tradicional para igualdade, você faz uma declaração de igualdade (por exemplo,

). O ponto é que, não importa qual seja a sua altura, posso contestá-la reduzindo o erro, a menos que a hipótese nula seja EXATAMENTE verdadeira. Eu costumava altura como um exemplo fácil de compreender, mas este conceito é o mesmo em outras áreas (substância x não causa câncer, esta moeda é justo, etc.)

μ = 177

$\mu = 177$

— Underminer

13

Como o @Kodiologist salienta, isso é realmente o que acontece com amostras de tamanhos grandes. Para amostras pequenas, não há razão para que você não possa ter falsos positivos ou falsos negativos.

Eu acho que o teste torna o caso assintótico mais claro. Suponhamos que temos e queremos testar vs . Nossa estatística de teste é $z$ $X_1, \dots, X_n \stackrel{\text{iid}}\sim \mathcal N(\mu, 1)$ $H_0: \mu = 0$ $H_A: \mu \neq 0$

Z_{n} = \frac{{\bar{X}}_{n} - 0 0}{1 / \sqrt{n}} = \sqrt{n} {\bar{X}}_{n} .

$Z_n = \frac{\bar X_n - 0}{1 / \sqrt n} = \sqrt n\bar X_n.$

então $\bar X_n \sim \mathcal N(\mu, \frac 1n)$ . Estamos interessados em. $Z_n = \sqrt n \bar X_n \sim \mathcal N(\mu \sqrt n, 1)$ $P(|Z_n| \geq \alpha)$

P (| Z_{n} | \geq α) = P (Z_{n} \leq - α) + P (Z_{n} \geq α)

$P(|Z_n| \geq \alpha) = P(Z_n \leq -\alpha)+ P(Z_n \geq \alpha)$

Seja

nossa variável de referência. Sob

, temos

para que possamos escolher

para controlar nossa taxa de erro tipo I conforme desejado. Mas sob

= 1 + Φ (- α - μ \sqrt{n}) - Φ (α - μ \sqrt{n}) .

$= 1 + \Phi(-\alpha - \mu\sqrt n) - \Phi(\alpha - \mu \sqrt n).$

Y \sim N (0, 1)

$Y \sim \mathcal N(0,1)$

H_{0}

$H_0$

μ = 0

$\mu = 0$

P (| Z_{n} | \geq α) = 1 - P (- α \leq Y \leq α)

$P(|Z_n| \geq \alpha) = 1 - P(-\alpha \leq Y \leq \alpha)$

α

$\alpha$

H_{A}

$H_A$

então

então com probabilidade 1 rejeitaremos

se

(

é no caso de

, mas de qualquer forma os infinitos têm o mesmo sinal).

μ \sqrt{n} \neq 0

$\mu \sqrt n \neq 0$

P (| Z_{n} | \geq α) \to 1 + Φ (\pm \infty) - Φ (\pm \infty) = 1

$P(|Z_n| \geq \alpha) \to 1 + \Phi(\pm\infty) - \Phi(\pm\infty) = 1$

H_{0}

$H_0$

μ \neq 0

$\mu \neq 0$

\pm

$\pm$

μ < 0

$\mu < 0$

O ponto disso é que se for exatamente igual a , nossa estatística de teste terá a distribuição de referência e rejeitaremos 5% (ou o que escolhermos) do tempo. Mas se não for exatamente , então a probabilidade de rejeitarmos vai para à medida que aumenta. A idéia aqui é a consistência de um teste, ou seja, em o poder (probabilidade de rejeição) segue para como . $\mu$ $0$ $\mu$ $0$ $1$ $n$ $H_A$ $1$ $n \to \infty$

$H_0 : \rho = \rho_0$ $H_A: \rho \neq \rho_0$ $1$

— jld
fonte

1

μ < 0

$μ < 0$

Z_{n}

$Z_n$

- \infty

$-\infty$

\infty

$\infty$

1

μ = 0

$\mu=0$

\bar{X} \to_{p} 0

$\bar{X}\to_p 0$

\sqrt{n} \to \infty

$\sqrt{n}\to \infty$

1

@DeltaIV, certo, se a taxa de convergência fosse diferente, seria necessário um dimensionamento diferente para obter uma distribuição nula não-regenerada. Mas, para o presente exemplo, raiz-n é a taxa certa.

— Christoph Hanck

1

\sqrt{n} \bar{X}

$\sqrt n \bar X$

0

$0$

7

Indiscutivelmente, o que eles disseram está errado, se por nenhuma outra razão senão o uso de "isso sempre acontece".

Não sei se esse é o ponto crucial da confusão que você está tendo, mas vou publicá-lo porque acho que muitos o fazem e ficarão confusos com isso:

$X$ $n$ $n > n_0$ $X$

$\lim\limits_{n\to\infty} \Pr (X) = 1$

O que eles estão literalmente dizendo se traduz no seguinte:

$n$ $n_0$

O que eles estavam tentando dizer, porém, é o seguinte:

Para qualquer nível de significância, à medida que o tamanho da amostra aumenta, a probabilidade de um teste não nulo produzir um resultado significativo se aproxima de 1 se o tamanho real do efeito não for exatamente zero.

Existem diferenças cruciais aqui:

Não há garantia. É mais provável que você obtenha um resultado significativo com uma amostra maior. Agora, eles poderiam evitar parte da culpa aqui, porque até agora é apenas uma questão de terminologia. Em um contexto probabilístico, ele é entendido que a declaração "se n for grande o suficiente, então X" pode também ser interpretado como significando "X se torna mais e mais provável que seja verdade que n cresce grande" .
No entanto, essa interpretação sai da minha janela assim que eles dizem que "sempre" acontece. A terminologia apropriada aqui seria dizer que isso acontece " com alta probabilidade " ¹ .
$n > n_0$

Mas, depois de entender a literatura, você obtém o que eles estão tentando dizer.

(Observação: aliás, esse é exatamente um dos constantes problemas que muitas pessoas têm com a Wikipedia. Freqüentemente, só é possível entender o que eles estão dizendo se você já conhece o material, por isso é bom apenas para referência ou como lembrete , não como material de auto-ensino.)

_{¹ Para os colegas pedantes (oi!), Sim, o termo tem um significado mais específico do que aquele a que vinculei. O termo técnico mais flexível que provavelmente queremos aqui é "assintoticamente quase certamente" . Veja aqui .}

— Mehrdad
fonte

α

$\alpha$

α

$\alpha$

@ Henry: Oh, dispara, você está certo! Escrevi tão rápido que não parei para pensar. Muito obrigado! Eu consertei isso. :)

— Mehrdad

3

Meu exemplo favorito é o número de dedos por sexo. A grande maioria das pessoas tem 10 dedos. Alguns perderam os dedos devido a acidentes. Alguns têm dedos extras.

Não sei se os homens têm mais dedos do que as mulheres (em média). Todas as evidências facilmente disponíveis sugerem que homens e mulheres têm 10 dedos.

No entanto, estou muito confiante de que, se fizesse um censo de todos os homens e mulheres, aprenderia que um gênero tem mais dedos (em média) do que o outro.

— emory
fonte

Dado o tamanho da amostra suficientemente grande, um teste sempre mostrará resultados significativos, a menos que o tamanho real do efeito seja exatamente zero. Por quê?

XXXnnnn > n0 0n>n0 0n > n_0XXX

limn → ∞Pr ( X) = 1limn→∞Pr(X)=1\lim\limits_{n\to\infty} \Pr (X) = 1

$X$ $n$ $n > n_0$ $X$

$\lim\limits_{n\to\infty} \Pr (X) = 1$