Por que não realizar metanálise em dados parcialmente simulados?

Fundo:

Uma meta-análise típica em psicologia pode procurar modelar a correlação entre duas variáveis ​​X e Y. A análise normalmente envolveria a obtenção de um conjunto de correlações relevantes da literatura, juntamente com o tamanho da amostra. As fórmulas podem então ser aplicadas para calcular uma correlação média ponderada. Em seguida, análises podem ser realizadas para verificar se as correlações variam entre os estudos em mais do que seriam implicadas por meros efeitos de amostragem aleatória.

Além disso, as análises podem ser muito mais complexas. As estimativas podem ser ajustadas quanto à confiabilidade, restrição de intervalo e muito mais. As correlações podem ser usadas em combinação para explorar modelagem de meta-equação estrutural ou meta-regressão, e assim por diante.

No entanto, todas essas análises são realizadas usando estatísticas resumidas (por exemplo, correlações, odds ratio, diferenças médias padronizadas) como dados de entrada. Isso requer o uso de fórmulas e procedimentos especiais que aceitam estatísticas resumidas.

Abordagem alternativa à metanálise

Assim, eu estava pensando em uma abordagem alternativa à metanálise, na qual dados brutos são usados ​​como entrada. Ou seja, para uma correlação, os dados de entrada seriam os dados brutos usados ​​para formar a correlação. Obviamente, na maioria das metanálises, vários, se não a maioria, dos dados brutos reais não estão disponíveis. Assim, um procedimento básico pode ser assim:

1. Entre em contato com todos os autores publicados que procuram dados brutos e, se houver, use dados brutos reais .
2. Para autores que não fornecem dados brutos, simule dados brutos para que tenham estatísticas de resumo idênticas às relatadas. Tais simulações também podem incorporar qualquer conhecimento adquirido com os dados brutos (por exemplo, se uma variável é conhecida por estar distorcida etc.).

Parece-me que essa abordagem pode ter vários benefícios:

• Ferramentas estatísticas que usam dados brutos como entrada podem ser usadas para análises
• Ao obter pelo menos alguns dados brutos reais, os autores de metanálises seriam forçados a considerar questões relacionadas aos dados reais (por exemplo, outliers, distribuições etc.).

Questão

• Existem problemas na realização de estudos de metanálise em uma combinação de dados brutos verdadeiros e dados simulados para ter estatísticas resumidas idênticas às dos estudos publicados existentes?
• Essa abordagem seria superior aos métodos existentes para realizar meta-análises em estatísticas resumidas?
• Existe literatura existente discutindo, defendendo ou criticando essa abordagem?

Já existem abordagens que visam sintetizar dados individuais e agregados de pessoas. Sutton et al. (2008) aplica uma abordagem bayesiana que (IMHO) tem algumas semelhanças com a sua ideia.

• Riley, RD, Lambert, PC, Staessen, JA, Wang, J., Gueyffier, F., Thijs, L., & Boutitie, F. (2007). Meta-análise de resultados contínuos combinando dados individuais de pacientes e dados agregados. Statistics in Medicine, 27 (11), 1870-1893. doi: 10.1002 / sim.3165 PDF

• Riley, RD, & Steyerberg, EW (2010). Meta-análise de um resultado binário usando dados de participantes individuais e dados agregados. Research Synthesis Methods, 1 (1), 2–19. doi: 10.1002 / jrsm.4

• Sutton, AJ, Kendrick, D. & Coupland, CAC (2008). Meta-análise de dados em nível individual e agregado. Statistics in Medicine, 27 (5), 651–669.

Agradeço à @Bernd por me indicar a direção certa. Aqui estão algumas notas sobre as referências que ele mencionou em sua resposta, bem como algumas das referências mencionadas nesses artigos.

Sutton et al. (2008)

Sutton et al. Usam dentro de um contexto de saúde os termos dados individuais de pacientes versus dados agregados .

Eles observam que a análise de dados individuais de pacientes é frequentemente considerada o padrão ouro para a meta-análise, citando Stewart e Clark (1995). É particularmente útil para avaliar a qualidade dos dados e realizar análises de valores não relatados em relatórios existentes (por exemplo, análises específicas de subgrupos). Naturalmente, eles observam problemas, como a impossibilidade em alguns casos de obter todos os dados individuais do paciente e os custos adicionais no processamento desses dados. Eles também observam que, para modelos simples, onde as estatísticas resumidas estão disponíveis, os resultados geralmente são semelhantes ou iguais.

Eles também observam a pouca frequência das meta-análises de pacientes individuais, citando uma revisão de Simmonds et al (2005). Eles também mencionam o artigo de revisão da meta-análise que combina dados individuais de pacientes com dados agregados por Riley RD, Simmonds, et al (2008).

Riley Lambert Abo-Zaid (2010)

Neste artigo, Riley et al descrevem mais sobre a meta-análise de dados individuais dos participantes. Eles descrevem as vantagens da metanálise dos dados individuais dos participantes (por exemplo, processamento consistente de dados, modelagem de dados ausentes, verificação dos resultados originais relatados, mais opções de análise etc.)

Stewart e Tierney (2002)

Stewart e Tierney revisam os prós e contras da metanálise de dados de pacientes individuais, concentrando-se particularmente em questões práticas.

Riley Lambert e outros (2007)

Eles descrevem métodos para combinar dados individuais de pacientes com dados agregados em termos de abordagens de uma e duas etapas.

Cooper & Patall (2009)

Cooper e Patall escreveram um artigo como parte de uma edição especial sobre meta-análise de dados em nível individual em Psychological Methods (veja Shrout, 2009 para um resumo). Cooper e Patall descrevem a síntese da pesquisa como uma em um segundo estágio de transição:

A primeira transição é da revisão narrativa da pesquisa - na qual regras opacas da álgebra cognitiva são usadas para sintetizar os resultados dos estudos - para a metanálise de [dados agregados]. O segundo estágio envolve a transição da metanálise de [dados agregados] para a acumulação de [dados individuais no nível do participante].

continua...

Referências

• Cooper, H. & Patall, EA (2009). Os benefícios relativos da metanálise realizada com dados individuais dos participantes versus dados agregados. Métodos psicológicos, 14 (2), 165-176. doi: 10.1037 / a0015565
• Riley, RD, Lambert, PC, Staessen, JA, Wang, J., Gueyffier, F., Thijs, L., & Boutitie, F. (2007). Meta-análise de resultados contínuos combinando dados individuais de pacientes e dados agregados. Statistics in Medicine, 27 (11), 1870-1893. doi: 10.1002 / sim.3165 [PDF] (http://www.staessen.net/publications/2006-2010/08-21-P.pdf)
• Riley, RD, Lambert, PC, & Abo-Zaid, G. (2010). Meta-análise dos dados individuais dos participantes: justificativa, conduta e relatório, BMJ, 340, 221.
• Riley RD, Simmonds MC, Olhe MP. (2007) Síntese de evidências combinando dados individuais de pacientes e dados agregados: uma revisão sistemática identificou a prática atual e os possíveis métodos. Journal of Clinical Epidemiology, no prelo e na visão inicial.
• Riley, RD, & Steyerberg, EW (2010). Meta-análise de um resultado binário usando dados de participantes individuais e dados agregados. Research Synthesis Methods, 1 (1), 2–19. doi: 10.1002 / jrsm.4
• Shrout, PE (2009). Visões curtas e longas da análise integrativa dos dados: Comentários sobre as contribuições para a edição especial. Métodos psicológicos, 14, 177.
• Simmonds MC, Higgins JPT, Stewart LA, Tierney JF, Clarke MJ, Thompson SG. (2005). Meta-análise de dados individuais de pacientes de ensaios randomizados: uma revisão dos métodos utilizados na prática. Testes clínicos ; 2: 209-217.
• Stewart LA, Clarke MJ. Metodologia prática de metanálises (visões gerais) usando dados atualizados atualizados de pacientes. Grupo de Trabalho Cochrane. Estatística em Medicina 1995; 14: 2057-2079.
• Stewart LA, Tierney JF. Para IPD ou não para IPD? Vantagens e desvantagens de revisões sistemáticas usando dados de pacientes individuais. Eval Health Prof 2002; 25: 76-97.
• Sutton, AJ, Kendrick, D. & Coupland, CAC (2008). Meta-análise de dados em nível individual e agregado. Statistics in Medicine, 27 (5), 651–669.