Por que encontrar pequenos efeitos em grandes estudos indica viés de publicação?

Vários artigos metodológicos (por exemplo, Egger et al 1997a, 1997b) discutem o viés de publicação, revelado por meta-análises, usando gráficos de funil como o abaixo.

O artigo de 1997b diz que "se houver viés de publicação, espera-se que, nos estudos publicados, os maiores reportem os menores efeitos". Mas porque é isso? Parece-me que tudo isso provaria é o que já sabemos: pequenos efeitos são detectáveis ​​apenas com grandes amostras ; sem dizer nada sobre os estudos que não foram publicados.

Além disso, o trabalho citado alega que a assimetria visualmente avaliada em um gráfico de funil "indica que houve não publicação seletiva de ensaios menores com benefícios menos consideráveis". Mas, novamente, eu não entendo como quaisquer características de estudos que foram publicados possivelmente pode nos dizer qualquer coisa (nos permitem fazer inferências) sobre obras que foram não publicados!

Referências
Egger, M., Smith, GD e Phillips, AN (1997). Meta-análise: princípios e procedimentos . BMJ, 315 (7121), 1533-1537.

Egger, M., Smith, GD, Schneider, M. e Minder, C. (1997). Viés na meta-análise detectada por um teste gráfico simples . BMJ , 315 (7109), 629-634.

As respostas aqui são boas, +1 para todos. Eu só queria mostrar como esse efeito pode parecer em termos de gráfico de funil em um caso extremo. Abaixo, simulo um pequeno efeito como $N(.01, .1)$ e desenho amostras entre 2 e 2000 observações em tamanho.

Os pontos cinzas no gráfico não seriam publicados sob um regime estrito de $p < .05$ . A linha cinza é uma regressão do tamanho do efeito no tamanho da amostra, incluindo os estudos com "p-valor ruim", enquanto o vermelho os exclui. A linha preta mostra o verdadeiro efeito.

Como você pode ver, no viés de publicação, há uma forte tendência para pequenos estudos superestimarem os tamanhos de efeito e para os maiores relatarem tamanhos de efeito mais próximos da verdade.

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

^{Criado em 20/02/2019 pelo pacote reprex (v0.2.1)}

Primeiro, precisamos pensar sobre o que é "viés de publicação" e como isso afetará o que realmente faz parte da literatura.

$p < 0.05$$|\hat \theta |/ SE(\hat \theta) >1.96$$n$$SE(\hat \theta)$$|\hat \theta|$

$\theta$$|\hat \theta|$ $\hat \theta$$|\theta|$ é realmente significativamente menor do que o que normalmente vemos nas experiências menores que realmente chegam à publicação.

$|\hat \theta|$ $SE(\hat \theta)$$p < 0.05$

Leia esta declaração de uma maneira diferente:

Se não houver viés de publicação, o tamanho do efeito deve ser independente do tamanho do estudo.

Ou seja, se você estiver estudando um fenômeno, o tamanho do efeito é uma propriedade do fenômeno, não a amostra / estudo.

As estimativas do tamanho do efeito podem (e irão) variar entre os estudos, mas se houver um tamanho sistemático decrescente do efeito com o aumento do tamanho do estudo , isso sugere que há viés. O ponto principal é que essa relação sugere que existem pequenos estudos adicionais mostrando baixo tamanho de efeito que não foram publicados e, se eles foram publicados e, portanto, poderiam ser incluídos em uma metanálise, a impressão geral seria que o tamanho do efeito é menor do que o estimado a partir do subconjunto de estudos publicado.

A variação das estimativas de tamanho de efeito nos estudos dependerá do tamanho da amostra, mas você deverá ver um número igual de estimativas de sub e super em tamanhos de amostra baixos, se não houver viés.