Em uma metanálise, como lidar com estudos não significativos que não contêm dados brutos?

Digamos que estou conduzindo uma meta-análise, observando o desempenho do grupo A e do grupo B com relação a um determinado construto. Agora, alguns dos estudos que descreverei relatam que não foram encontradas diferenças estatísticas entre os dois grupos, mas nenhuma estatística exata do teste e / ou dados brutos serão apresentados. Em uma meta-análise, como devo lidar com esses estudos?

Basicamente, vejo três alternativas diferentes aqui:

1. Inclua todos eles e atribua a cada um deles um tamanho de efeito 0.
2. Jogue todos fora.
3. Faça algum tipo de análise de poder para cada um deles ou defina um limite para um determinado número de participantes. Inclua tudo o que deveria ter sido capaz de alcançar significância estatística e atribua a cada um deles um tamanho de efeito igual a 0. Jogue o resto fora.

Eu posso ver méritos com todas as diferentes opções. A opção 1 é bastante conservadora e você só corre o risco de cometer um erro do tipo II. A opção dois aumenta o risco de cometer um erro do tipo I, mas também evita que seus resultados sejam arruinados por causa de vários estudos com pouca potência. A opção três parece ser o caminho intermediário entre a opção um e a opção dois, mas muitas suposições e / ou suposições puros terão que ser feitas (em que tamanho de efeito você deve basear suas análises de poder? Em que número de participantes você deve exigir cada estudar para que passe?), provavelmente tornando o resultado final menos confiável e mais subjetivo.

Como você aponta, há méritos nas três abordagens. Claramente, não existe uma opção que seja 'melhor'. Por que não fazer todos os 3 e apresentar os resultados como uma análise de sensibilidade?

Uma meta-análise realizada com análises de sensibilidade amplas e apropriadas apenas mostra que o autor está bem ciente dos limites dos dados em questão, explicita a influência das escolhas que fazemos ao realizar uma meta-análise e é capaz de avaliar criticamente as consequências. Para mim, essa é a marca da metanálise bem conduzida.

Qualquer pessoa que já tenha conduzido uma meta-análise sabe muito bem que existem muitas escolhas e decisões a serem tomadas ao longo do caminho e essas escolhas e decisões podem ter uma influência considerável nos resultados obtidos. A vantagem de uma metanálise (ou mais geralmente, uma revisão sistemática) é que os métodos (e, portanto, as escolhas e decisões) são explicitados. E pode-se avaliar sua influência de maneira sistemática. É exatamente assim que uma meta-análise deve ser conduzida.

Aqui estão os passos que eu daria (e que ensino aos meus alunos):

1) Entre em contato com os autores da pesquisa original. Seja educado e solicite estimativas exatas dos efeitos para usar em sua meta-análise. O pior que pode acontecer é que eles não respondam ou se recusam a fornecer as informações. O melhor cenário é obter as informações exatas que procurava.

2) Se você tem valores p exatos, geralmente pode calcular SDs com algum grau de certeza.

3) Você faz algum tipo de imputação. Isso poderia estar usando 'emprestar' a estimativa de efeito de estudos de tamanho semelhante, o maior DP na metanálise, o SD de estudos semelhantes na mesma metanálise, opinião de especialistas, etc. Há muitas maneiras de atribuir os dados ausentes, alguns mais cientificamente correto do que outros, mas o mais importante é que você seja claro sobre o que fez e faça uma análise de sensibilidade para determinar o efeito das imputações na estimativa de efeito agregado.

3) Você coloca os estudos na metanálise com os dados ausentes. O programa (por exemplo, RevMan) não dará nenhum peso a esses estudos na análise porque não será capaz de calcular a estimativa e a variação do efeito para esse estudo, mas você poderá mostrar visualmente que houve estudos adicionais com dados parciais que não faziam parte do cálculo agrupado.

4) Você não inclui dados desses estudos.

Escolha seu veneno ...