Uma interação estatística é significativa, mas o autor nega. Por quê?

Estou avaliando um artigo de jornal sobre suas interações estatísticas.

O artigo está tentando estabelecer uma relação entre controle menos rígido da pressão arterial e progressão para hipertensão grave. Suspeita-se que a hipertensão preexistente seja um fator prognóstico (dado ). $p=0.048<0.05$

Sua defesa é que

O valor é marginalmente significativo. Isso pode ser por acaso. Se a hipertensão preexistente fosse realmente um fator prognóstico adverso, as taxas de glicose baixa no sangue deveriam ter sido mais altas no grupo controle menos restrito e no grupo controle restrito, em comparação àquelas sem hipertensão gestacional. $p$

Essa defesa é realmente válida? Esse argumento parece refutar a "hipertensão pré-existente" como um fator de risco para a progressão para hipertensão grave.

Abaixo estão os dados.

\begin{array}{cc} Pre-existing hypertension & O R = 2.11 \\ Gestational hypertension & O R = 1.13 \\ p = 0.048 \end{array}

$\begin{array} {|c|c|} \hline \text{Pre-existing hypertension} & OR=2.11 \\ \hline \text{Gestational hypertension} & OR=1.13 \\ \hline & p=0.048 \\ \hline \end{array}$

\begin{array}{ccc} Pre-existing hypertension & Progression & No progression \\ Less-tight control & 159 & 210 \\ Tight control & 96 & 267 \end{array}

$\begin{array} {|c|c|c|} \hline \text{Pre-existing hypertension} & \text{Progression} & \text{No progression} \\ \hline \text{Less-tight control} & 159 & 210 \\ \text{Tight control} & 96 & 267 \\ \hline \end{array}$

\begin{array}{ccc} Gestational hypertension & Progression & No progression \\ Less tight control & 41 & 83 \\ Tight control & 38 & 87 \end{array}

$\begin{array} {|c|c|c|} \hline \text{Gestational hypertension} & \text{Progression} & \text{No progression} \\ \hline \text{Less tight control} & 41 & 83 \\ \text{Tight control} & 38 & 87 \\ \hline \end{array}$

interaction odds

— user2513881
fonte

Veja aqui para informações completas.

— User2513881

A chave é: "O valor p é marginalmente significativo". Essencialmente, o autor continua dizendo que esperava um efeito mais forte e, portanto, um valor p menor (evidência mais forte contra a hipótese nula). Pessoalmente, gosto do fato de este autor considerar que o valor p é marginal e não apenas a resposta fácil de "Oh valor p <0,05 deve ser estatisticamente significativo".

— 23816 Lauren Goodwin

@ Lauren Para contraponto, considere que esta é uma declaração post hoc . Um experimentador verdadeiramente rigoroso estabeleceria critérios antecipadamente para valores de p e tamanhos de efeito e respeitaria esses critérios na avaliação dos resultados. Se, como está implícito aqui, o critério do valor-p for 0,05, esse resultado de 0,048 é um período significativo . Dizer o contrário seria como desafiá-lo a uma corrida de uma milha, perder e, em seguida, na linha de chegada, propor que a corrida realmente era de duas milhas e, portanto, não foi perdida.

— whuber

Como não tenho a reputação necessária para votar, adicionarei como resposta.

Concordo plenamente com o que o @whuber disse. A abordagem típica nesse tipo de estudo é declarar a priori um nível de significância. Citado no artigo, os autores realmente fazem isso,

Para acomodar as muitas comparações feitas, consideramos valores de P bicaudais inferiores a 0,01 para os desfechos secundários e inferiores a 0,001 para outros desfechos, indicando significância estatística

... para essas análises exploratórias, foi utilizado o teste de homogeneidade Breslow-Day e valores de P menores que 0,05 foram considerados para indicar significância estatística

Mencionar um resultado como "marginalmente significativo" está claramente errado quando você já declarou seus níveis como significativos. Ou algo é significativo ou não é. Apenas para acrescentar, os autores também calcularam que o estudo tinha 80% de poder, assumindo um nível de detecção de alfa <0,05.

Por outro lado, se os autores fornecerem um tamanho de efeito (como o OR) que tenha um valor de p <0,05, mas seja extremamente próximo de 1, acho que é totalmente justificável dizer "isso foi realmente significativo, mas sem relevância clínica devido ao baixo tamanho do efeito ".

— demodw
fonte