Prática recomendada ao analisar projetos pré-pós-controle de tratamento

Imagine o seguinte design comum:

• 100 participantes são alocados aleatoriamente em um grupo de tratamento ou controle
• a variável dependente é numérica e medida pré e pós-tratamento

Três opções óbvias para analisar esses dados são:

• Teste o efeito de interação do grupo pelo tempo na ANOVA mista
• Faça uma ANCOVA com condição como IV e a pré-medida como covariável e pós-medida como DV
• Faça um teste t com a condição como IV e as pontuações de alteração pré-pós como DV

Pergunta, questão:

• Qual é a melhor maneira de analisar esses dados?
• Existem razões para preferir uma abordagem a outra?

Existe uma enorme literatura sobre esse tópico (escores de alteração / ganho) e acho que as melhores referências vêm do domínio biomédico, por exemplo

Senn, S (2007). Questões estatísticas no desenvolvimento de medicamentos . Wiley (cap. 7 pp. 96-112)

Na pesquisa biomédica, um trabalho interessante também foi realizado no estudo de ensaios cruzados (especialmente em relação aos efeitos de transição , embora eu não saiba como isso é aplicável ao seu estudo).

Do Gain Score t para ANCOVA F (e vice-versa) , da Knapp & Schaffer, fornece uma revisão interessante da abordagem ANCOVA vs. t (o chamado Paradoxo do Senhor). A análise simples das pontuações de mudança não é a maneira recomendada para o projeto pré / pós, de acordo com Senn em seu artigo Mudança da linha de base e análise da covariância revisitada (Stat. Med. 2006 25 (24)). Além disso, o uso de um modelo de efeitos mistos (por exemplo, para explicar a correlação entre os dois pontos no tempo) não é melhor porque você realmente precisa usar a medida "pré" como covariável para aumentar a precisão (através do ajuste). Muito brevemente:

• O uso de pontuações de mudança (pós pré ou resultado linha de base) não resolve o problema do desequilíbrio; a correlação entre pré e pós-medição é <1, e a correlação entre pré e (pós pré) é geralmente negativa - segue-se que se o tratamento (sua alocação de grupo) medido por escores brutos for uma desvantagem injusta em comparação para controlar, terá uma vantagem injusta com as pontuações de mudança.- $-$$-$$-$
• A variação do estimador usado no ANCOVA é geralmente menor do que a dos escores brutos ou de mudança (a menos que a correlação entre pré e pós seja igual a 1).
• Se as relações pré / pós diferem entre os dois grupos (inclinação), não é um problema tão grande quanto para qualquer outro método (a abordagem das pontuações de mudança também assume que a relação é idêntica entre os dois grupos - a hipótese da inclinação paralela )
• Sob a hipótese nula de igualdade de tratamento (no resultado), nenhum tratamento de interação x linha de base é esperado; é perigoso se encaixar nesse modelo, mas nesse caso é preciso usar linhas de base centralizadas (caso contrário, o efeito do tratamento é estimado na origem covariável).

Também gosto dos Dez Mitos da Diferença de Edwards, embora ele se concentre nas pontuações das diferenças em um contexto diferente; mas aqui está uma bibliografia anotada sobre a análise de alterações pré-pós (infelizmente, não abrange trabalhos muito recentes). Van Breukelen também comparou ANOVA vs. ANCOVA em cenários randomizados e não randomizados, e suas conclusões apóiam a idéia de que ANCOVA deve ser preferido, pelo menos em estudos randomizados (que impedem a regressão ao efeito médio).

Daniel B. Wright discute isso na seção 5 de seu artigo, Fazendo amizade com seus dados . Ele sugere (p.130):

O único procedimento que está sempre correto nessa situação é um gráfico de dispersão comparando as pontuações no tempo 2 com as do tempo 1 para os diferentes grupos. Na maioria dos casos, você deve analisar os dados de várias maneiras. Se as abordagens derem resultados diferentes ... pense com mais cuidado no modelo implícito em cada uma.

Ele recomenda os seguintes artigos como leitura adicional:

• Hand, DJ (1994). Desconstruindo questões estatísticas. Jornal da Sociedade Estatística Real: A, 157, 317–356.
• Senhor, FM (1967). Um paradoxo na interpretação das comparações de grupo. Boletim Psicológico, 72, 304-305. PDF grátis
• Wainer, H. (1991). Ajustando para taxas base diferenciais: o paradoxo de Lord novamente. Boletim Psicológico, 109, 147-151. PDF grátis

As estratégias mais comuns seriam:

1. Medidas repetidas ANOVA com um fator dentro do sujeito (pré vs. pós-teste) e um fator entre os sujeitos (tratamento versus controle).
2. ANCOVA nos escores pós-tratamento, com escore pré-tratamento como covariável e tratamento como variável independente. Intuitivamente, a idéia é que um teste das diferenças entre os dois grupos seja realmente o que você procura e incluir pontuações antes do teste como covariável pode aumentar o poder em comparação com um simples teste t ou ANOVA.

Existem muitas discussões sobre a interpretação, suposições e diferenças aparentemente paradoxais entre essas duas abordagens e sobre alternativas mais sofisticadas (especialmente quando os participantes não podem ser designados aleatoriamente para o tratamento), mas eles permanecem bastante padrão, eu acho.

Uma fonte importante de confusão é que, para a ANOVA, o efeito do interesse provavelmente é a interação entre tempo e tratamento e não o principal efeito do tratamento. Aliás, o teste F para esse termo de interação produzirá exatamente o mesmo resultado que um teste t de amostra independente nas pontuações de ganho (ou seja, pontuações obtidas subtraindo a pontuação do pré-teste da pontuação do pós-teste para cada participante), para que você possa também vá para isso.

Se tudo isso é demais, você não tem tempo para descobrir isso e não pode obter ajuda de um estatístico, uma abordagem rápida e suja, mas de modo algum completamente absurda, seria simplesmente comparar as pontuações do pós-teste com uma teste t de amostra independente, ignorando os valores do pré-teste. Isso só faz sentido se os participantes foram de fato designados aleatoriamente para o grupo de tratamento ou controle .

Finalmente, essa não é uma boa razão para escolhê-la, mas desconfio que a abordagem 2 acima (ANCOVA) seja o que atualmente passa pela abordagem correta em psicologia. Se você escolher outra coisa, talvez seja necessário explicar a técnica em detalhes ou justificar a alguém que está convencido, por exemplo, que "as pontuações de ganho são conhecidas por serem ruins".

ANCOVA e medidas repetidas / modelo misto para termo de interação estão testando duas hipóteses diferentes. Consulte este artigo: artigo 1 e este artigo: artigo 2

Como você tem dois meios (de um item específico ou da soma do inventário), não há motivo para considerar uma ANOVA. Um teste t emparelhado é provavelmente apropriado; isso pode ajudá-lo a escolher qual teste t você precisa.

Deseja analisar resultados específicos de itens ou pontuações gerais? Se você deseja fazer uma análise de item, este pode ser um ponto de partida útil.