O que aconteceu com a significância estatística na regressão quando o tamanho dos dados é gigantesco?

13

Eu estava lendo esta pergunta sobre regressão em larga escala ( link ), onde whuber apontou um ponto interessante da seguinte maneira:

"Quase qualquer teste estatístico que você executa será tão poderoso que é quase certo identificar um efeito" significativo ". Você precisa se concentrar muito mais na importância estatística, como tamanho do efeito, e não na significância".

--- whuber

Eu queria saber se isso é algo que pode ser provado ou simplesmente alguns fenômenos comuns na prática?

Qualquer ponteiro para uma prova / discussão / simulação seria realmente útil.

regression statistical-significance

— Bayesric
fonte

1

O tamanho do efeito é importante. (+1 à resposta de Glen_b). Para dar um exemplo rápido: se fôssemos obesos, não mudaríamos nossa dieta existente para uma nova e mais cara, se resultasse em perda de peso de 0,05 kg após um mês, mesmo que tivesse um valor de

. Ainda seríamos obesos, apenas mais pobres. Pelo que sabemos, uma redução de peso tão pequena pode ser apenas devido à clínica de saúde que as gravações foram tiradas do chão de um prédio sem elevador para o quarto andar do mesmo prédio. (Boa pergunta + 1)

p

$p$

\leq 0.0000000001

$\leq 0.0000000001$

— usεr11852 diz Reinstate Monic

10

É bem geral.

Imagine que há um efeito pequeno, mas diferente de zero (ou seja, algum desvio do nulo que o teste é capaz de captar).

Em amostras pequenas, a chance de rejeição será muito próxima da taxa de erro do tipo I (o ruído domina o pequeno efeito).

À medida que o tamanho da amostra cresce, o efeito estimado deve convergir para esse efeito populacional, enquanto ao mesmo tempo a incerteza do efeito estimado diminui (normalmente como ), até que a chance de que a situação nula esteja próxima o suficiente do efeito estimado de que ainda seja plausível em uma amostra selecionada aleatoriamente da população, reduz-se a zero efetivamente. $\sqrt{n}$

Ou seja, com nulos de ponto, eventualmente a rejeição se torna certa, porque em quase todas as situações reais, sempre haverá essencialmente algum desvio do nulo.

— Glen_b -Reinstate Monica
fonte

"... porque em quase todas as situações reais, sempre haverá sempre algum desvio do nulo". Então está lá e pode-se até vê-lo. Seria uma propriedade bastante agradável ou não?

— Trilarion

"Nulo" aqui se refere à hipótese nula de que o coeficiente é igual a zero?

— Arash Howaida 03/09/19

Penso que a resposta de Glen_b é geral e aplicável a qualquer teste de hipótese com um ponto nulo. No contexto da regressão, sim, o nulo é que o coeficiente é igual a zero. Minha própria embora compreensão ...

— Bayesric

4

Isso não é uma prova, mas não é difícil mostrar a influência do tamanho da amostra na prática. Gostaria de usar um exemplo simples de Wilcox (2009) com pequenas alterações:

$H_0: \mu \geq 50$ $\alpha = .05$

Podemos usar o teste t para esta análise:

T = \frac{\bar{X} - μ_{o}}{s / \sqrt{n}}

$T = \frac{\bar X - \mu_o}{s/\sqrt{n}}$

$\bar X$ $s$

T = \frac{45 - 50}{11 / \sqrt{10}} = - 1.44.

$T = \frac{45-50}{11/\sqrt{10}}=-1.44.$

$t$ $ν$ $v = 10 -1$ $P(T \leq - 1.83)= .05$ $T=-1.44$

T = \frac{45 - 50}{11 / \sqrt{100}} = - 4.55

$T = \frac{45-50}{11/\sqrt{100}}= -4.55$

$v = 100 - 1$ $P(T \leq -1.66) = .05$ $s/\sqrt{n}$ $T = \frac{\hat\beta_j-\beta_j^{(0)}}{se(\hat\beta_j)}$

Wilcox, RR, 2009. Estatísticas Básicas: Compreendendo Métodos Convencionais e Insights Modernos . Oxford University Press, Oxford.

— TEG - Restabelecer Monica
fonte

1

Obrigado pela resposta. Sua resposta fornece uma demonstração concreta da resposta de Glen_b: quando o tamanho da amostra é muito grande, um pequeno desvio do nulo (sempre existe um pequeno desvio na prática) será capturado como efeito significativo.

— Bayesric

2

Em regressão, para o modelo geral, o teste está em F. Aqui

F = \frac{\frac{R S S_{1} - R S S_{2}}{p_{2} - p_{1}}}{\frac{R S S_{2}}{n - p_{2}}}

$F = \frac{\frac{RSS_1-RSS_2}{p_2 - p_1}}{\frac{RSS_2}{n-p_2}}$ Onde RSS é a soma residual dos quadrados ep é o número de parâmetros. Mas, para esta pergunta, a chave é o N no denominador mais baixo. Não importa o quão perto

R S S_{1}

$RSS_1$ é

R S S_{2}

$RSS_2$ , quando N fica maior, F fica maior. Portanto, basta aumentar N até que F seja significativo.

— Peter Flom - Restabelece Monica
fonte

1

Obrigado pela resposta. No entanto, sou cético em relação a "quando N fica maior, F fica maior"; quando N aumenta, o RSS2 também aumenta, não está claro para mim por que F ficará maior.

— Bayesric

@ Peter Flom isso não foi alcançado, mas você pode dar uma olhada aqui stats.stackexchange.com/questions/343518/…

— user3022875: