Diferenças de linha de base no ECR: Quais variáveis ​​(se houver) devem ser incluídas como covariáveis?

Recentemente, completei um estudo em que designei aleatoriamente os participantes para um dos dois grupos de tratamento. Testei os participantes na linha de base, imediatamente após a intervenção, 1 mês e 4 meses em um número um pouco grande de variáveis ​​de resultado. Eu estava planejando executar várias ANOVAs mistas para examinar as interações grupo x tempo. Algumas das comparações serão comparações 2 (grupo) x 2 (tempo: linha de base e pós-intervenção) e algumas serão comparações 2 (grupo) x 3 (tempo: linha de base, 1 mês, 4 meses).

Antes de iniciar minhas análises, comparei os dois grupos de tratamento em todas as variáveis ​​de linha de base. Descobri que os grupos diferem em 4 variáveis ​​de linha de base se eu usar um nível alfa de 0,05 ou 2 variáveis ​​de linha de base se eu usar um nível de alfa de 0,01 para comparar os grupos.

Eu tenho duas perguntas sobre isso:

1. Qual nível alfa devo usar para comparar os grupos na linha de base? Eu estava pensando em um nível alfa de 0,01 porque estou comparando os dois grupos com 24 características da linha de base e achei que deveria escolher um nível alfa mais rigoroso que 0,05 para reduzir a taxa de erro familiar, visto que um grande número de testes está sendo realizado. realizado, mas pelas minhas leituras parece que a maioria das pessoas usa 0,05. O que você recomenda?

2. O que faço sobre essas diferenças? Eu poderia incluir essas variáveis ​​como covariáveis, mas o tamanho da minha amostra é bastante pequeno e o uso de quatro covariáveis ​​não parece apropriado (o que também é em parte o motivo de eu estar favorecendo apenas a aceitação de diferenças se forem significativas no nível 0,05).

Qualquer ajuda sobre isso seria muito apreciada!

Como Stephen Senn escreveu, não é apropriado comparar as distribuições de linha de base em um estudo randomizado. O jeito que eu gosto de falar sobre isso é fazer a pergunta "onde você para?", Ou seja, quantas outras covariáveis ​​da linha de base você deve voltar e tentar recuperar? Você encontrará covariáveis ​​de contrapeso se você se esforçar o suficiente.

A base para a escolha de um modelo não são diferenças post-hoc, mas apriori o conhecimento do assunto sobre quais variáveis ​​provavelmente são preditores importantes da variável de resposta. A versão de linha de base da variável resposta é certamente um preditor dominante, mas há outros que provavelmente serão importantes. O objetivo é explicar a heterogeneidade explicável no resultado para maximizar a precisão e o poder. Quase não há papel para o teste de significância estatística na formulação do modelo.

Um modelo pré-especificado cuidará das diferenças de chance nas variáveis ​​importantes - aquelas que prevêem o resultado.

Normalmente, o que você deve se preocupar em comparar os dois grupos na linha de base não é tanto a significância estatística das diferenças, mas o tamanho das diferenças: alguma dessas diferenças é grande o suficiente para importar para o estudo? Grande o suficiente para afetar as comparações de grupo e as relações variáveis ​​que são o foco da pesquisa? Grande o suficiente para que seja necessário ajustá-lo (usando-o como covariável)?

Agora, seu caso é um pouco interessante, pois mesmo com tarefas aleatórias, você tem 4 de 24 variáveis ​​que mostram diferenças significativas no nível 0,05 (17% em vez dos 5% esperados). Isso pode parecer preocupante para o seu processo de randomização ou algum outro aspecto do estudo. Mas, teoricamente, se a randomização fosse feita na perfeição e depois não houvesse atrito em nenhum dos grupos, um resultado esse extremo ou mais deve ocorrer 2,4% do tempo, com base em 24! / (4! (24-4)!) ( .05 ^ 4) (.95 ^ (24-4)). Afinal, não é realmente uma ocorrência tão rara. O que você tem pode muito bem ser um conjunto de diferenças aleatórias. Eu ficaria com o julgamento com base na magnitude das diferenças.

+1 para @FrankHarrell. Eu poderia acrescentar um pequeno ponto. Se você designou aleatoriamente seus participantes para os grupos, quaisquer diferenças 'significativas' nos valores de covariáveis ​​antes da intervenção são necessariamente erros do tipo I.