Nota: Se você deseja uma resposta rápida à sua pergunta sobre o uso do teste de heterogeneidade para tomar essa decisão, role para baixo até " Quais justificativas são razoáveis? ".
Existem algumas justificativas (algumas mais / menos razoáveis que outras) que os pesquisadores oferecem para a seleção de uma síntese meta-analítica de efeitos fixos vs. efeitos aleatórios. Estes são discutidos em livros introdutórios de meta-análise, como Borenstein et al. (2009), Card (2011) e Cooper (2017).
Sem condenar ou desculpar qualquer uma dessas justificativas (ainda), elas incluem:
Justificativas para a seleção do modelo de efeitos fixos
- Simplicidade analítica : algumas pessoas acham que o cálculo / interpretação de um modelo de efeitos aleatórios está além de sua compreensão estatística e, portanto, aderem a um modelo mais simples. Com o modelo de efeito fixo, o pesquisador só precisa estimar a variabilidade nos tamanhos dos efeitos, causada pelo erro de amostragem. Para melhor ou pior, essa é uma prática pragmática incentivada explicitamente em Card (2011).
Crença prévia em que não há variabilidade no nível de estudo / moderadores : se um pesquisador acredita que todos os tamanhos de efeito em sua amostra variam apenas devido a um erro de amostragem - e que não há variabilidade sistemática no nível de estudo (e, portanto, não há moderadores), haveria pouco imperativo para se ajustar a um modelo de efeitos aleatórios.Eu acho que essa justificativa e as primeiras andam de mãos dadas, quando um pesquisador sente que se encaixa em um modelo de efeitos aleatórios está além de sua capacidade e, posteriormente, racionaliza essa decisão afirmando, após o fato de que eles não antecipam qualquer quantidade de verdadeira heterogeneidade no nível de estudo.
Moderadores sistemáticos foram considerados exaustivamente : Alguns pesquisadores podem usar uma análise de efeito fixo depois de investigarem e levarem em consideração todos os moderadores em que podem pensar. A lógica subjacente aqui é que, uma vez que um pesquisador tenha respondido a todas as fontes concebíveis / significativas de variabilidade no nível de estudo, tudo o que resta é o erro de amostragem e, portanto, um modelo de efeitos aleatórios seria desnecessário.
- Teste não significativo de heterogeneidade ( estatística )Q : um pesquisador pode se sentir mais confortável adotando um modelo de efeitos fixos se não conseguir rejeitar o nulo de uma amostra homogênea de tamanhos de efeito.
- Intenção de fazer inferências limitadas / específicas : Os modelos de efeitos fixos são apropriados para falar com padrões de efeitos estritamente dentro da amostra de efeitos. Um pesquisador pode, portanto, justificar a adaptação de um modelo de efeitos fixos se estiver confortável em falar apenas com o que está acontecendo em sua amostra, e não especular sobre o que pode acontecer em estudos perdidos por sua revisão ou em estudos posteriores à sua revisão.
Justificativas para a seleção de um modelo de efeitos aleatórios
Crença prévia na variabilidade no nível de estudo / moderadores : em contraste com a justificativa 2. (em favor dos modelos de efeitos fixos), se o pesquisador antecipar que haverá uma quantidade significativa de variabilidade no nível de estudo (e, portanto, moderação), padrão para especificar um modelo de efeitos aleatórios. Se você tem formação em psicologia (sim), isso está se tornando uma maneira padrão cada vez mais rotineira / incentivada de pensar sobre o tamanho dos efeitos (por exemplo, ver Cumming, 2014).
Teste de heterogeneidade significativo (isto é, estatística )Q : Assim como um pesquisador pode usar um teste não significativo para justificar a seleção de um modelo de efeitos fixos, também pode usar um teste significativo (rejeitando o tamanho nulo dos efeitos homogêneos) ) para justificar o uso de um modelo de efeitos aleatórios.QQQ
Pragmatismo analítico : acontece que, se você ajustar um modelo de efeitos aleatórios e não houver heterogeneidade significativa (isto é, o não for significativo), você chegará a estimativas de efeito fixo; somente na presença de heterogeneidade significativa essas estimativas mudarão. Alguns pesquisadores podem, portanto, adotar um modelo de efeitos aleatórios, imaginando que suas análises "funcionarão" da maneira que deveriam, dependendo das qualidades dos dados subjacentes.Q
Intenção de fazer inferências amplas / generalizáveis : diferentemente dos modelos de efeitos fixos, os modelos de efeitos aleatórios licenciam um pesquisador para falar (até certo ponto) além de sua amostra, em termos de padrões de efeitos / moderação que seriam exibidos em uma literatura mais ampla. Se esse nível de inferência é desejável para um pesquisador, eles podem, portanto, preferir um modelo de efeitos aleatórios.
Consequências da especificação do modelo errado
Embora não seja uma parte explícita da sua pergunta, acho importante salientar por que é importante que o pesquisador "acerte" ao selecionar entre os modelos de meta-análise de efeitos fixos e efeitos aleatórios: tudo se resume à estimação precisão e poder estatístico .
Modelos de efeitos fixos são estatisticamente mais poderosos, correndo o risco de produzir estimativas artificialmente precisas; modelos de efeitos aleatórios são menos estatisticamente poderosos, mas potencialmente mais razoáveis se houver verdadeira heterogeneidade. No contexto de testes de moderadores, os modelos de efeito fixo podem subestimar a extensão da variação de erro, enquanto os modelos de efeitos aleatórios podem superestimar a extensão da variação de erro (dependendo de suas suposições de modelagem serem atendidas ou violadas, ver Overton, 1998). Novamente, na literatura da psicologia, há um crescente senso de que o campo se baseou demais nas metanálises de efeitos fixos e, portanto, nos iludimos a um maior senso de certeza / precisão em nossos efeitos (ver Schmidt et al. 2009).
Quais justificativas são razoáveis?
Para responder sua pergunta específica diretamente: alguns (por exemplo, Borenstein et al., 2009; Card, 2001) alertam contra o uso da estatística teste de heterogeneidade com o objetivo de decidir se deve especificar um modelo de efeitos fixos ou efeitos aleatórios ( Justificação 4. e Justificação 7. ). Esses autores argumentam, em vez disso, que você deve tomar essa decisão principalmente por motivos conceituais (ou seja, justificativa 2. ou justificativa 6. ). A falibilidade da estatística para esse fim também faz uma certa quantidade de sentido intuitivo no contexto de sínteses especialmente pequenas (ou especialmente grandes), onde Q QQQQ é provável que esteja com pouca energia para detectar heterogeneidade significativa (ou com excesso de potência para detectar quantidades triviais de heterogeneidade).
A simplicidade analítica ( justificativa 1. ) parece outra justificativa para modelos de efeitos fixos que dificilmente será bem-sucedida (por razões que acho mais óbvias). Argumentar que todos os possíveis moderadores foram esgotados ( Justificação 3. ), por outro lado, poderia ser mais convincente em alguns casos, se o pesquisador puder demonstrar que considerou / modelou uma ampla gama de variáveis de moderador. Se eles codificaram apenas alguns moderadores, essa justificativa provavelmente será vista como bastante ilusória / frágil.
Deixar que os dados tomem a decisão por meio de um modelo padrão de efeitos aleatórios ( justificativa 8 ). Certamente não é uma decisão ativa / baseada em princípios, mas, juntamente com a mudança do campo da psicologia no sentido de preferir modelos de efeitos aleatórios como padrão, pode ser uma justificativa aceitável (embora não particularmente ponderada).
Isso deixa justificativas relacionadas a crenças anteriores sobre a (s) distribuição (ões) de efeitos ( Justificação 2. e Justificação 6. ), e aquelas relacionadas aos tipos de inferências que o pesquisador deseja ser licenciado para fazer ( Justificação 5. e Justificação 9).) A plausibilidade de crenças anteriores sobre a distribuição de efeitos se resumirá em grande parte às características da pesquisa que você está sintetizando; como observa Cooper (2017), se você está sintetizando efeitos de processos mecanicistas / universais, coletados de contextos / amostras amplamente semelhantes e em ambientes rigidamente controlados, uma análise de efeitos fixos pode ser inteiramente razoável. Sintetizar resultados de replicações do mesmo experimento seria um bom exemplo de quando essa estratégia analítica poderia ser desejável (ver Goh et al., 2016). Se, no entanto, você está sintetizando um campo em que projetos, manipulações, medidas, contextos e características de amostra diferem bastante, parece cada vez mais difícil argumentar que alguém está estudando exatamenteo mesmo efeito em cada instância. Por fim, os tipos de inferências que se deseja fazer parecem uma questão de preferência / gosto pessoal, por isso não tenho certeza de como começar a argumentar a favor / contra essa justificativa, desde que pareça defensável conceitualmente.
Referências
Borenstein, M., Hedges, LV, Higgins, JPT e Rothstein, HR (2009). Introdução à meta-análise . West Sussex, Reino Unido: Wiley.
Card, NA (2011). Meta-análise aplicada à pesquisa em ciências sociais. Nova York, NY: Guilford Press.
Cooper, H. (2017). Síntese e meta-análise de pesquisa: uma abordagem passo a passo. Thousand Oaks, CA: Sábio.
Cumming, G. (2014). As novas estatísticas: por que e como. Ciência Psicológica , 25 (1), 7-29.
Goh, JX, Hall, JA, & Rosenthal, R. (2016). Mini-metanálise de seus próprios estudos: alguns argumentos sobre o porquê e uma cartilha sobre como. Social and Personality Psychology Compass , 10 (10), 535-549.
Overton, RC (1998). Uma comparação de efeitos fixos e modelos mistos (efeitos aleatórios) para testes de meta-análise de efeitos variáveis moderadores. Psychological Methods , 3 (3), 354-379.
Schmidt, FL, Oh, IS, & Hayes, TL (2009). Modelos de efeitos fixos versus efeitos aleatórios na metanálise: propriedades do modelo e uma comparação empírica das diferenças nos resultados. Jornal Britânico de Psicologia Matemática e Estatística , 62 (1), 97-128.