Como um teste t pode ser estatisticamente significativo se a diferença média é quase 0?

10

Estou tentando comparar dados de 2 populações para saber se a diferença entre os tratamentos é estatisticamente significativa. Os conjuntos de dados parecem ser normalmente distribuídos com muito pouca diferença entre os dois conjuntos. A diferença média é 0,00017. Realizei um teste t emparelhado, esperando não rejeitar a hipótese nula de não haver diferença entre as médias; no entanto, meu valor t calculado é muito maior que meu valor t crítico.

statistical-significance t-test paired-data

— Kscicc26
fonte

Sobre o que você deseja sugestões? Quais são os seus N's?

— gung - Restabelece Monica

oi, não tenho muita certeza de como proceder, se fiz algo errado para começar, visto que os dados não parecem diferentes. Ambos os grupos têm 335 observações.

— Kscicc26 /

5

O erro padrão da diferença de médias também é uma função dos desvios padrão e do tamanho da amostra. Todas essas peças precisariam estar em sua pergunta antes que qualquer surpresa pudesse ser registrada.

— Glen_b -Reinstala Monica

7

Toda diferença é "quase 0"! Se a variável de resultado é o peso ganho pelas pessoas e é medido em libras, então 0,00017 é realmente pequeno, mas se for medido em milhões de libras, 0,00017 é enorme. Portanto, essa pergunta não tem significado até que um contexto - o que está sendo medido na resposta - e uma unidade de medida sejam fornecidas.

— whuber

11

A significância estatística não significa "significância" no sentido mais amplo do significado em inglês.

— David25272

9

Não vejo razão para acreditar que você fez algo errado apenas porque o teste foi significativo, mesmo que a diferença média seja muito pequena. Em um teste t emparelhado, o significado será conduzido por três coisas:

a magnitude da diferença média
a quantidade de dados que você tem
o desvio padrão das diferenças

É certo que sua diferença média é muito, muito pequena. Por outro lado, você possui uma quantidade razoável de dados (N = 335). O último fator é o desvio padrão das diferenças. Não sei o que é isso, mas como você obteve um resultado significativo, é seguro assumir que ele é pequeno o suficiente para superar a pequena diferença média com a quantidade de dados que você possui. Para criar uma intuição, imagine que a diferença pareada para cada observação em seu estudo fosse 0,00017; o desvio padrão das diferenças seria 0. Certamente, seria razoável concluir que o tratamento levou a uma redução (embora um pequeno).

Como o @whuber observa nos comentários abaixo, vale ressaltar que, embora 0,00017 pareça um número muito pequeno, mas não necessariamente pequeno em termos significativos. Para saber disso, precisaríamos saber várias coisas, primeiro quais são as unidades. Se as unidades forem muito grandes (por exemplo, anos, quilômetros etc.), o que parecer pequeno poderá ser significativamente grande, enquanto que se as unidades forem pequenas (por exemplo, segundos, centímetros etc.), essa diferença parecerá ainda menor. Segundo, mesmo uma pequena mudança pode ser importante: imagine algum tipo de tratamento (por exemplo, vacina) muito barato, fácil de administrar a toda a população e sem efeitos colaterais. Pode valer a pena, mesmo que tenha salvado apenas algumas vidas.

— - Reinstate Monica
fonte

Obrigado pela resposta! Eu não sou muito versado em estatística, então fiquei surpreso quando não recebi a resposta que esperava obter. o erro padrão das diferenças entre as médias é: 7.36764E-05. Não sei ao certo qual é a relevância disso, mas tenho certeza que sim. mais uma vez obrigado pela sua ajuda.

— Kscicc26 25/02

De nada, @ Kscicc26. O erro padrão das diferenças e o desvio padrão das diferenças não são a mesma coisa. (Tragicamente, eles parecem o que deveriam ser.) O DP indica o quanto suas diferenças variam, enquanto o EF mostra quantas estimativas da diferença média variariam se você realizasse o estudo repetidas vezes. Pode ajudar você a ler minha descrição de SEs aqui .

— gung - Restabelece Monica

Vou verificar isso e voltar a esta discussão de manhã!

— Kscicc26

2

Essa diferença média não é pequena nem grande: você simplesmente não tem base para avaliar seu tamanho.

— whuber

@ Whuber, esse é um bom ponto - não sei a que esses números se referem. Mas o OP presumivelmente faz e pensa que é muito pequeno. Eu estou indo com essa informação.

— gung - Restabelece Monica

9

Para saber se uma diferença é realmente grande ou pequena, requer alguma medida de escala, o desvio padrão é uma medida de escala e faz parte da fórmula do teste t para explicar em parte essa escala.

Considere se você está comparando as alturas de 5 anos com as de 20 anos (humanos, mesma área geográfica, etc.). A intuição nos diz que existe uma diferença prática e, se as alturas forem medidas em polegadas ou centímetros, a diferença parecerá significativa. Mas e se você converter as alturas em quilômetros? ou anos-luz? a diferença será um número muito pequeno (mas ainda diferente), mas (exceto o erro de arredondamento) o teste t fornecerá os mesmos resultados, independentemente da altura ser medida em polegadas, centímetros ou quilômetros.

Portanto, uma diferença de 0,00017 pode ser enorme, dependendo da escala das medições.

— Greg Snow
fonte

4

$t$ unlikely to emerge at least as large in another, similar pair of samples selected randomly from the same populations if the null hypothesis of no difference is literally true of those populations $t$ $\frac{17}{100,000}$

pop1=rep(15:20* .00001, 56);pop2=rep(0,336) #Some fake samples of sample size = 336
t.test(pop1,pop2,paired=T)                #Paired t-test with the following output...

t_{(335)} = 187,55, p < 2.2 \times 10^{- 16}

$t_{(335)}=187.55,p<2.2\times10^{-16}$

.00001 $t$

Talvez você esteja mais interessado em significado prático do que nesse sentido literal de teste de significado de hipótese nula. O significado prático dependerá muito mais do significado dos seus dados no contexto do que do significado estatístico; não é uma questão puramente estatística. Eu citei um exemplo útil desse princípio em uma resposta a uma pergunta popular aqui, Acomodando visualizações entrincheiradas de valores-p :

$r=.03$

Essa "questão da vida e da morte" era basicamente o tamanho do efeito da aspirina nos ataques cardíacos - um exemplo poderoso de diferenças numericamente pequenas e muito menos consistentes, com significado praticamente importante. Muitas outras perguntas com respostas sólidas das quais você pode se beneficiar merecem links aqui, incluindo:

Referência

Rosenthal, R., Rosnow, RL, & Rubin, DB (2000). Contrastes e tamanhos de efeito na pesquisa comportamental: Uma abordagem correlacional . Cambridge University Press.

— Nick Stauner
fonte

0

Aqui está um exemplo em R que mostra os conceitos teóricos em ação. 10.000 tentativas de jogar uma moeda 10.000 vezes com probabilidade de 0,0001 em comparação com 10.000 tentativas de jogar uma moeda 10.000 vezes com probabilidade de 0,00011

t.test (rbinom (10000, 10000, .0001), rbinom (10000, 10000, .00011))

t = -8,0299, df = 19886,35, p-valor = 1,03e-15 hipótese alternativa: a diferença verdadeira nas médias não é igual a 0 intervalo de confiança de 95%: -0,14493747 -0,08806253 estimativas da amostra: média de x média de y 0,9898 1,1063

A diferença na média é relativamente fechada para 0 em termos de percepção humana, porém é estatisticamente diferente de 0.

— Andrew Cassidy
fonte