Uma meta-análise de estudos que “não são estatisticamente significativos” pode levar a uma conclusão “significativa”?

Uma metanálise inclui vários estudos, os quais relataram um valor de P superior a 0,05. É possível que a metanálise geral relate um valor de P menor que 0,05? Sob que circunstâncias?

(Tenho certeza de que a resposta é sim, mas gostaria de uma referência ou explicação.)

statistical-significance meta-analysis combining-p-values

— Harvey Motulsky
fonte

Não sei muito sobre a metanálise, mas fiquei com a impressão de que ela não envolve nenhum teste de hipóteses, apenas uma estimativa do efeito da população; nesse caso, não há noção de significância para falar.

— Kodiologist 28/10

Bem, uma meta-análise - no final do dia - é apenas uma média ponderada. E você certamente pode configurar um teste de hipótese para essa média ponderada. Ver, por exemplo, Borenstein, Michael, et al. "Uma introdução básica aos modelos de efeito fixo e efeitos aleatórios para metanálise." Research Synthesis Methods 1.2 (2010): 97-111.

— Boscovich

As outras respostas também são boas, mas um caso simples: dois estudos são significativos em p = 0,9, mas não em p = 0,95. A probabilidade de que dois estudos independentes devem ambas apresentar p> = 0.9 é apenas 0,01, assim que sua meta-análise poderia mostrar significância de p = 0,99

— barrycarter

Pegue o limite: Nenhuma medida pode fornecer evidência suficiente a favor / contra uma hipótese (não trivial) para ter um valor de

pequeno

p

$p$ , mas uma coleção de medidas grande o suficiente.

— Eric Towers

Os valores de p não indicam efeito "estatisticamente significante" ou insignificante. O que poderíamos entender de uma conclusão significativa? É uma conclusão meta-analítica?

— Subhash C. Davar

Respostas:

Em teoria, sim ...

Os resultados de estudos individuais podem ser insignificantes, mas vistos juntos, os resultados podem ser significativos.

Em teoria, você pode continuar tratando os resultados $y_i$ de estudo $i$ como qualquer outra variável aleatória.

Vamos haver alguma variável aleatória (por exemplo. A estimativa do estudo ). Então, se é independente e , é possível estimar consistentemente a média com: $y_i$ $i$ $y_i$ $E[y_i]=\mu$

\hat{μ} = \frac{1}{n} \sum_{Eu} y_{Eu}

$\hat{\mu} = \frac{1}{n} \sum_i y_i$

Adicionando mais suposições, seja a variação da estimativa . Em seguida, você pode estimar com eficiência com ponderação de variação inversa: $\sigma^2_i$ $y_i$ $\mu$

\hat{μ} = \sum_{Eu} W_{Eu} y_{Eu} W_{Eu} = \frac{1 / σ_{Eu}^{2}}{\sum_{j} 1 / σ_{j}^{2}}

$\hat{\mu} = \sum_i w_i y_i \quad \quad w_i = \frac{1 / \sigma^2_i}{\sum_j 1 / \sigma^2_j}$

Em qualquer destes pode ser estatisticamente significativa em algum nível de confiança, mesmo se as estimativas individuais não são. $\hat{\mu}$

MAS pode haver grandes problemas, questões a serem conhecidas ...

Se então o meta-análise pode não convergem para (ou seja, a média da meta-análise é um estimador inconsistente). $E[y_i] \neq \mu$ $\mu$

Por exemplo, se houver um viés contra a publicação de resultados negativos, essa metanálise simples pode ser terrivelmente inconsistente e tendenciosa! Seria como estimar a probabilidade de uma moeda virar a cabeça, observando apenas os flips onde não caiu a coroa!
e podem não ser independentes. Por exemplo, se dois estudos e basearam-se os mesmos dados, então o tratamento de e como independente na meta-análise pode subestimam o erro padrão e significância estatística overstate. Suas estimativas ainda seriam consistentes, mas os erros-padrão precisam levar em consideração razoavelmente a correlação cruzada nos estudos. $y_i$ $y_j$ $i$ $j$ $y_i$ $y_j$
Combinar (1) e (2) pode ser especialmente ruim.

Por exemplo, a metanálise das médias de pesquisas juntas tende a ser mais precisa do que qualquer pesquisa individual. Mas a média de pesquisas juntas ainda é vulnerável a erros correlatos. Algo que surgiu nas eleições passadas é que os jovens que trabalham nas pesquisas de opinião pública tendem a entrevistar outros jovens em vez de idosos. Se todas as pesquisas de saída cometerem o mesmo erro, você tem uma estimativa ruim que pode ser uma boa estimativa (as pesquisas de saída estão correlacionadas porque usam a mesma abordagem para realizar pesquisas de saída e essa abordagem gera o mesmo erro).

Sem dúvida, as pessoas mais familiarizadas com a meta-análise podem apresentar melhores exemplos, questões mais sutis, técnicas de estimativa mais sofisticadas, etc ..., mas isso aborda algumas das teorias mais básicas e alguns dos maiores problemas. Se os diferentes estudos cometerem erros aleatórios e independentes, a meta-análise poderá ser incrivelmente poderosa. Se o erro for sistemático entre os estudos (por exemplo, todos subestimam os eleitores mais velhos etc.), a média dos estudos também será reduzida. Se você subestimar o grau de correlação dos estudos ou de erros correlatos, efetivamente superestima o tamanho da amostra agregada e subestima os erros padrão.

Também existem todos os tipos de questões práticas de definições consistentes, etc ...

— Matthew Gunn
fonte

Estou criticando uma meta-análise por ignorar dependências entre tamanhos de efeito (ou seja, muitos tamanhos de efeito foram baseados nos mesmos participantes, mas tratados como independentes). Os autores dizem nada demais, apenas estamos interessados em moderadores. Estou argumentando aqui: tratá-los "como independentes na metanálise pode subestimar enormemente os erros padrão e exagerar a significância estatística". Existe um estudo de prova / simulação mostrando por que esse é o caso? Tenho muitas referências dizendo que erros correlatos significam SE subestimado ... mas não sei por quê?

— Mark White

@MarkWhite A ideia básica não é mais complicada que a

. Se para todos os

temos

para

então

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{1}{n^{2}} (\sum_{i} Var (X_{i}) + \sum_{i \neq j} Cov (X_{i}, X_{j}))

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{1}{n^2} \left( \sum_{i} \operatorname{Var}(X_i) + \sum_{i \neq j} \operatorname{Cov}(X_i, X_j) \right)$

i

$i$

Var (X_{i}) = σ^{2}

$\operatorname{Var}(X_i) = \sigma^2$

Cov (X_{i}, X_{j}) = 0

$\operatorname{Cov}(X_i, X_j) = 0$

i \neq j

$i\neq j$

seu erro padrão é

Var (\frac{1}{n} \sum_{i} X_{i}) = \frac{σ^{2}}{n}

$\operatorname{Var}\left( \frac{1}{n} \sum_i X_i \right) = \frac{\sigma^2}{n}$

. Por outro lado, se os termos de covariância forem positivos e grandes, o erro padrão será maior.

\frac{σ}{\sqrt{n}}

$\frac{\sigma}{\sqrt{n}}$

— Matthew Gunn

@MarkWhite Eu não sou um especialista em meta-análise, e eu honestamente não sei o que é uma grande fonte de como se deve fazer, meta-análise moderna. Conceitualmente, replicar a análise nos mesmos dados é certamente útil (como se estuda intensamente alguns assuntos), mas não é o mesmo que reproduzir uma descoberta sobre assuntos novos e independentes.

— Matthew Gunn

Ah, então em palavras: a variação total de um tamanho de efeito vem de (a) sua variação e (b) é covariância com outros tamanhos de efeito. Se a covariância for 0, a estimativa de erro padrão será boa; mas se ela cobre outros tamanhos de efeito, precisamos levar em consideração essa variação, e ignorá-la significa que estamos subestimando a variação. É como se a variação fosse composta de duas partes A e B, e ignorar dependências assume que a parte B é 0 quando não é?

— Mark White

Além disso, esta parece ser uma boa fonte (ver especialmente Box 2): nature.com/neuro/journal/v17/n4/pdf/nn.3648.pdf

— Mark White

Sim. Suponha que você tenha valores de p de estudos independentes. $N$ $N$

Teste de Fisher

(EDIT - em resposta ao útil comentário de @ mdewey abaixo, é relevante distinguir entre diferentes meta-testes. Eu explico o caso de outro meta-teste mencionado por mdewey abaixo)

O metateste clássico de Fisher (ver Fisher (1932), "Métodos Estatísticos para Pesquisadores" ), estatística tem uma distribuição nula de , como para um rv uniforme .

F = - 2 \sum_{i = 1}^{N} \ln (p_{i})

$F=-2\sum_{i=1}^N\ln(p_i)$

χ_{2 N}^{2}

$\chi^2_{2N}$

- 2 \ln (U) \sim χ_{2}^{2}

$-2\ln(U)\sim\chi^2_2$

U

$U$

Seja denotar o -quantil da distribuição nula. $\chi^2_{2N}(1-\alpha)$ $(1-\alpha)$

Suponha que todos os valores de p sejam iguais a , onde, possivelmente, . Então, e quando $c$ $c>\alpha$ $F=-2N\ln(c)$ $F>\chi^2_{2N}(1-\alpha)$ Por exemplo, parae, os valores deindividuaisprecisam apenas ser menores que

c < \exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$c < \exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

α = 0.05

$\alpha=0.05$

N = 20

$N=20$

p

$p$

> exp(-qchisq(0.95, df = 40)/40)
[1] 0.2480904

Obviamente, o que os testes de meta-estatística são "apenas" o nulo "agregado" que todos os nulos individuais são verdadeiros, que devem ser rejeitados assim que apenas um dos nulos for falso. $N$

EDITAR:

Aqui está um gráfico dos valores de p "admissíveis" contra , que confirma que cresce em , embora pareça se estabilizar em . $N$ $c$ $N$ $c\approx0.36$

I encontrado um limite superior para as quantis do distribuição $\chi^2$ aqui, sugerindo quemodo que

χ_{2 N}^{2} (1 - α) \leq 2 N + 2 registro (1 / α) + 2 \sqrt{2 N registro (1 / α)},

$\chi^2_{2N}(1-\alpha)\leq 2N+2\log(1/\alpha)+2\sqrt{2N\log(1/\alpha)},$

χ_{2 N}^{2} (1 - α) = O (N)

$\chi^2_{2N}(1-\alpha)=O(N)$

é delimitado de cima por

como

. Como

, esse limite parece razoavelmente nítido.

\exp (- \frac{χ_{2 N}^{2} (1 - α)}{2 N})

$\exp\left(-\frac{\chi^2_{2N}(1-\alpha)}{2N}\right)$

\exp (- 1)

$\exp(-1)$

N \to \infty

$N\to\infty$

\exp (- 1) \approx 0.3679

$\exp(-1)\approx0.3679$

Teste normal inverso (Stouffer et al., 1949)

A estatística do teste é dada por

Z = \frac{1}{\sqrt{N}} \sum_{Eu = 1}^{N} Φ^{- 1} (p_{Eu})

$Z=\frac{1}{\sqrt{N}}\sum_{i=1}^N\Phi^{-1}(p_i)$

Φ^{- 1}

$\Phi^{-1}$

Z < - 1.645

$Z < -1.645$

α = 0.05

$\alpha=0.05$

p_{i} = c

$p_i=c$

Z = \sqrt{N} Φ^{- 1} (c)

$Z=\sqrt{N}\Phi^{-1}(c)$

c < 0.5

$c<0.5$

Φ^{- 1} (c) < 0

$\Phi^{-1}(c)<0$

Z \to_{p} - \infty

$Z\to_p-\infty$

N \to \infty

$N\to\infty$

c \geq 0.5

$c\geq0.5$

Z

$Z$

N

$N$

N \to \infty

$N\to\infty$

$Z < -1.645$ $c<\Phi(-1.645/\sqrt{N})$ $\Phi(0)=0.5$ $N\to\infty$

— Christoph Hanck
fonte

1 / e

$1/e$

Obrigado :-). Eu também não esperava um antes de ver o enredo ...

— Christoph Hanck

Curiosamente, o método devido a Fisher é o único dos métodos mais usados que possui essa propriedade. Para a maioria dos outros, o que você chama de F aumenta com N se $ c> 0,5) e diminui caso contrário. Isso se aplica ao método de Stouffer e ao método de Edgington, bem como aos métodos baseados em logits e na média de p. Os vários métodos que são casos especiais do método de Wilkinson (mínimo p, máximo p, etc) têm propriedades diferentes novamente.

— Mdewey

1 / e

$1/e$

p = 0.9

$p=0.9$

p

$p$

$p$ $\alpha_*$

p_{[1]} \leq p_{[2]} ... p_{[k]}

$p_{[1]} \le p_{[2]} \dots p_{[k]}$

k

$k$

p_{[1]} < 1 - (1 - α_{*})^{\frac{1}{k}}

$\begin{equation} p_{[1]} < 1 - (1 - \alpha_*)^{\frac{1}{k}} \end{equation}$

$k$ $\alpha_*$ $p_{[1]}$ $\alpha_*$

$p$ $p_{[r]}$ $1\le r\le k$ $r=2$ $p=0.09$

O método de LHC Tippett é descrito em um livro Os métodos da estatística. 1931 (1ª ed) e o método de Wilkinson estão aqui em um artigo "Uma consideração estatística em pesquisa psicológica"

— mdewey
fonte

Obrigado. Mas observe que a maioria dos métodos de metanálise combina tamanhos de efeito (considerando qualquer diferença no tamanho da amostra) e não combina valores de P.

— Harvey Motulsky

@HarveyMotulsky concordou, combinando valores de p é um último recurso, mas o OP fez tag sua pergunta com a tag valores combinando-p então eu respondeu com esse espírito

— mdewey

Eu acho que sua resposta está correta.

— Subhash C. Davar