Discordância entre valores-p e intervalos de confiança

Esta é uma pergunta sobre o teste t no SPSS.

Eu tenho dois grupos e quero testar se as duas médias são iguais. Estou usando o teste t com bootstrapping. No final, obtive um valor p <0,005, o que geralmente me levaria a rejeitar a hipótese nula de que as médias das duas populações são iguais, mas, no meu caso, o zero está dentro dos intervalos de confiança de auto-inicialização de 95% BCa, com base em 1000 amostras .

Ainda rejeito a hipótese de meios iguais?

Advertência: Esta resposta assume que a pergunta é sobre a interpretação de valores-p e ICs com bootstrap. Uma comparação entre um valor p tradicional (não inicializado) e um IC inicializado seria um problema diferente.

Com um teste t tradicional (não inicializado), o IC de 95% e a posição do valor p em relação ao ponto de corte de 0,05 para significância sempre dirão a mesma coisa. Isso ocorre porque ambos são baseados nas mesmas informações: a distribuição t para seus graus de liberdade e o erro médio e padrão observado em sua amostra (ou diferença entre média e erro padrão, no caso de um t-amostra de duas amostras). teste). Se o seu IC não se sobrepuser a 0, seu valor-p será necessariamente <0,05 - a menos que, é claro, haja um erro no software ou um erro do usuário na implementação ou interpretação do teste.

Com um teste t de inicialização, o valor de IC ep é calculado diretamente a partir da distribuição empírica gerada pela inicialização: o valor de p é simplesmente o percentual de diferenças entre os grupos de inicialização é mais extremo que a diferença observada original; o IC95% é o 95% médio das diferenças entre os grupos iniciados. Não é impossível para o valor p e o IC discordarem sobre a significância em um teste de inicialização.

Você aceita ou rejeita a hipótese nula?

No contexto de um teste de inicialização, o valor p (em comparação com o IC) reflete mais diretamente o espírito do teste de hipótese, portanto, faz mais sentido confiar nesse valor para decidir se deve ou não rejeitar o nulo em o alfa desejado (geralmente 0,05). Portanto, no seu caso, onde o valor de p é menor que 0,05, mas o IC de 95% contém zero, recomendo rejeitar a hipótese nula .

Tudo isso pula as grandes idéias sobre o quão importante a "significância" realmente deve ser e se o teste de significância de hipóteses nula é ou não realmente útil para uma ferramenta. Resumidamente, eu sempre recomendo elogiar qualquer análise de teste de significância com estimativa de tamanhos de efeito (para um teste t de duas amostras, a melhor estimativa de tamanho de efeito provavelmente será o d de Cohen ), que pode fornecer algum contexto adicional para ajudar você a entender seus resultados.

Post útil relacionado: Qual é o significado de um intervalo de confiança obtido de reamostragens com bootstrap?

Se o valor p da hipótese nula for menor que 0,05, o zero não deverá estar contido no intervalo de confiança em 0,05 do parâmetro que você supõe ser zero na hipótese nula. Isso é a mesma coisa. Portanto, há um erro ou você não testa a mesma hipótese.

EDIT , como as outras respostas e o comentário abaixo indicam corretamente, essa não é a história completa. No entanto, ainda acho que, se um teste indica que os grupos têm média diferente (p <0,005) e o outro não rejeita (p> 0,05), provavelmente os testes estão realmente verificando uma coisa diferente.

Embora teoricamente essa diferença possa ser devida a assintóticos (bootstraps são aproximações em amostras finitas, outros testes são aproximações baseadas em suposições de normalidade), essa diferença é surpreendentemente grande. Argumento que é assustadoramente grande e, sem descobrir o que está acontecendo com isso, você ainda não deve tirar conclusões. Também é exatamente isso que você está fazendo, postando a pergunta aqui. Talvez você possa compartilhar os números e tornar essa pergunta interessante um pouco mais concreta.