Como detectar qual é o melhor estudo quando eles oferecem resultados conflitantes?

Você muitas vezes encontra na imprensa vários estudos que concluem resultados direcionalmente opostos. Isso pode estar relacionado ao teste de um novo medicamento prescrito, ao mérito de um nutriente específico ou a qualquer outra coisa.

Quando dois desses estudos chegam a resultados conflitantes, como você pode dizer qual dos dois está mais próximo da verdade?

Acho que a resposta de Jeromy é suficiente se você estiver examinando dois estudos experimentais ou uma meta-análise real. Muitas vezes, porém, somos confrontados com o exame de dois estudos não experimentais e temos a tarefa de avaliar a validade desses dois achados díspares.

Como a lista de perguntas de Cyrus sugere, o tópico em si não é passível de resposta curta, e livros inteiros têm como objetivo principal abordar essa questão. Para qualquer pessoa interessada em realizar pesquisas sobre dados não experimentais, sugiro que você leia

Projetos experimentais e quase-experimentais para inferência causal generalizada de William R. Shadish, Thomas D. Cook e Donald Thomas Campbell (Também ouvi dizer que as versões mais antigas deste texto são igualmente boas).

Vários itens a que Jeromy se referiu (tamanhos maiores de amostra e maior rigor metodológico), e tudo o que Cyrus menciona seria considerado o que Campbell e Cook chamam de "Validade Interna". Isso inclui aspectos do desenho da pesquisa e os métodos estatísticos usados ​​para avaliar a relação entre X e Y. Em particular, como críticos, estamos preocupados com aspectos que poderiam influenciar os resultados e diminuir a confiabilidade dos resultados. Como este é um fórum dedicado à análise estatística, muitas das respostas estão centradas em métodos estatísticos para garantir estimativas imparciais de qualquer relação que você esteja avaliando. Mas esses são outros aspectos do desenho da pesquisa não relacionados à análise estatística que diminuem a validade das descobertas, independentemente dos comprimentos rigorosos que a pessoa faz na análise estatística (como a menção de Cyrus de vários aspectos da fidelidade do experimento pode ser abordada, mas não resolvida com métodos estatísticos e, caso ocorram, sempre diminuirão a validade dos resultados dos estudos). Existem muitos outros aspectos da validade interna que se tornam cruciais para avaliar na comparação de resultados de estudos não experimentais que não são mencionados aqui, e aspectos de projetos de pesquisa que podem distinguir a confiabilidade dos resultados. Eu não acho que seja apropriado entrar em muitos detalhes aqui,

Campbell e Cook também se referem à "validade externa" dos estudos. Esse aspecto do design da pesquisa geralmente tem um escopo muito menor e não merece tanta atenção quanto a validade interna. A validade externa lida essencialmente com a generalização das descobertas, e eu diria que os leigos podem frequentemente avaliar a validade externa razoavelmente bem, desde que estejam familiarizados com o assunto. Para encurtar a história, leia o livro de Shadish, Cook e Campbell.

A literatura da metanálise é relevante para sua pergunta. Usando técnicas meta-analíticas, você pode gerar uma estimativa do efeito do interesse reunido nos estudos. Tais técnicas geralmente pesam estudos em termos de tamanho da amostra.

Dentro do contexto da metanálise, os pesquisadores falam sobre modelos de efeito fixo e efeito aleatório (ver Hunter e Schmidt, 2002 ). Um modelo de efeito fixo assume que todos os estudos estão estimando o mesmo efeito populacional. Um modelo de efeitos aleatórios assume que os estudos diferem no efeito populacional que está sendo estimado. Um modelo de efeitos aleatórios é geralmente mais apropriado.

À medida que mais estudos se acumulam olhando para um relacionamento específico, abordagens mais sofisticadas se tornam possíveis. Por exemplo, você pode codificar estudos em termos de várias propriedades, como qualidade percebida, e depois examinar empiricamente se o tamanho do efeito varia com essas características do estudo. Além da qualidade, pode haver algumas diferenças teoricamente relevantes entre os estudos que moderariam a relação (por exemplo, característica da amostra, níveis de dosagem etc.).

Em geral, costumo confiar nos estudos com:

• tamanhos maiores de amostra
• maior rigor metodológico
• uma orientação confirmatória (por exemplo, não um estudo em que eles testaram correlações entre 100 nutrientes diferentes e 50 resultados de saúde)
• ausência de conflito de interesses (por exemplo, não por uma empresa com interesse comercial em mostrar um relacionamento; não por um pesquisador que tenha um incentivo para encontrar um resultado significativo)

Mas isso disse que você precisa manter amostragem aleatória e diferenças teoricamente significativas entre os estudos como uma explicação plausível para os resultados conflitantes do estudo.

Eu gostaria de considerar a meta-análise até que você examine as fontes, se houver algum viés ou variação potencial nas populações-alvo. Se estes são estudos dos efeitos do tratamento, o tratamento foi designado aleatoriamente? Houve desvios no protocolo? Houve descumprimento? Faltam dados de resultados? As amostras foram coletadas do mesmo quadro? Houve recusa em participar? Erros de implementação? Os erros padrão foram computados corretamente, respondendo pelo agrupamento e robustos a várias suposições paramétricas? Somente depois de responder a essas perguntas, acho que os problemas de meta-análise começam a aparecer. Deve ser raro que, para dois estudos, a metanálise seja apropriada, a menos que você esteja disposto a fazer suposições heróicas.