Teste t pareado versus não pareado

Suponha que eu tenho 20 ratos. Eu emparelhei os ratos de alguma maneira, para obter 10 pares. Para os fins desta pergunta, pode ser um emparelhamento aleatório, OU pode ser um emparelhamento sensato, como tentar emparelhar ratos da mesma ninhada, do mesmo sexo, com peso semelhante, OU pode ser um emparelhamento deliberadamente estúpido como tentando emparelhar ratos com pesos o mais desigual possível. Em seguida, uso números aleatórios para atribuir um mouse em cada par ao grupo controle e o outro mouse ao grupo a ser tratado. Agora, faço o experimento, tratando apenas os camundongos a serem tratados, mas, de outra forma, não prestando atenção aos arranjos que acabamos de fazer.

Quando se trata de analisar os resultados, pode-se usar teste t não pareado ou teste t pareado. De que maneira, se houver alguma, as respostas serão diferentes? (Basicamente, estou interessado em diferenças sistemáticas de qualquer parâmetro estatístico que precise ser estimado.)

A razão pela qual pergunto isso é que um artigo em que estive recentemente envolvido foi criticado por um biólogo por usar um teste t emparelhado em vez de um teste t não pareado. É claro que, no experimento real, a situação não era tão extrema quanto a que descrevi, e, na minha opinião, havia boas razões para o emparelhamento. Mas o biólogo não concordou.

Parece-me que não é possível melhorar incorretamente a significância estatística (diminuir o valor-p), nas circunstâncias que esboçei, usando um teste t emparelhado, em vez de um teste não emparelhado, mesmo que seja inadequado parear. No entanto, poderia piorar a significância estatística se os camundongos estivessem muito emparelhados. Isto está certo?

Eu concordo com os pontos que Frank e Peter argumentam, mas acho que existe uma fórmula simples que chega ao cerne da questão e pode valer a pena considerar o OP.

Sejam e Y duas variáveis ​​aleatórias cuja correlação é desconhecida.$X$$Y$

Seja $Z=X-Y$

Qual é a variação de ?$Z$

Aqui está a fórmula simples: E se Cov ( X , Y ) > 0 (ou seja, X e Y estiverem positivamente correlacionados)?

Então $\text{Var}(Z)\lt \text{Var}(X)+\text{Var}(Y)$. Nesse caso, se o emparelhamento for feito devido a correlação positiva, como quando você está lidando com o mesmo assunto antes e depois do emparelhamento de intervenção, ajuda porque a diferença emparelhada independente tem uma variação menor do que a variação obtida para o caso não emparelhado. O método reduziu a variância. O teste é mais poderoso. Isso pode ser mostrado dramaticamente com dados cíclicos. Vi um exemplo em um livro em que eles queriam ver se a temperatura em Washington DC é mais alta que em Nova York. Então, eles tomaram a temperatura média mensal nas duas cidades por, digamos, 2 anos. Claro que há uma enorme diferença ao longo do ano por causa das quatro estações do ano. Essa variação é muito grande para que um teste t não emparelhado detecte uma diferença. No entanto, o emparelhamento com base no mesmo mês no mesmo ano elimina esse efeito sazonal e os paresteste t mostrou claramente que a temperatura média em DC tendia a ser mais alta que em Nova York. X i (temperatura em NY no mês A ) e Y $t$$X_i$$A$$Y_i$ (temperatura no DC no mês ) são positivamente correlacionados, porque as estações do ano são as mesmas em NY e DC e as cidades estão perto o suficiente para que muitas vezes eles vão experimentar os mesmos sistemas meteorológicos que afetar a temperatura. DC pode ser um pouco mais quente porque fica mais ao sul.$A$

Observe que quanto maior a covariância ou correlação, maior é a redução na variância.

Agora, suponha que seja negativo.$\text{Cov}(X,Y)$

Então . Agora, o emparelhamento será pior do que não, porque a variação é realmente aumentada!$\text{Var}(Z) \gt \text{Var}(X)+\text{Var}(Y)$

Quando e Y não estão correlacionados, provavelmente não importa qual método você usa. O caso de pareamento aleatório de Peter é assim.$X$$Y$

Em vez de emparelhar, provavelmente é melhor entender o modelo de dados subjacente. Se o emparelhamento é feito para lidar com heterogeneidade descontrolada, geralmente é o caso (exceto em estudos com gêmeos) que o emparelhamento controla apenas parcialmente essa fonte de variabilidade e a regressão múltipla seria melhor. Isso ocorre porque a correspondência em variáveis ​​contínuas freqüentemente resulta em variabilidade residual, porque não é possível fazer a correspondência exata em tais variáveis.

Os dois testes (emparelhados e não emparelhados) fazem perguntas diferentes para que eles possam obter respostas diferentes. O emparelhamento correto quase sempre é mais poderoso do que o não emparelhado - esse é realmente o ponto do emparelhamento. Portanto, como você diz que o emparelhamento está correto, é provável que o valor p para o seu teste emparelhado seja menor do que para os mesmos dados não emparelhados. Você poderia, é claro, fazer as duas coisas e ver por si mesmo.

Portanto, a resposta para seu dilema é substantiva, não estatística. O seu emparelhamento está certo?

Você poderia obter um resultado mais significativo do emparelhamento aleatório do que de um teste não emparelhado? Vamos ver:

set.seed(2910110192)
x <- rnorm(100, 10, 2)
y <- rnorm(100, 10, 2)
t.test(x, y)
t.test(x, y, paired = T)

Sim, você pode, embora aqui a diferença seja muito pequena, o par tenha um p menor. Eu corri esse código várias vezes. Não surpreendentemente, às vezes um p é menor, às vezes o outro, mas a diferença foi pequena em todos os casos. No entanto, tenho certeza de que em algumas situações a diferença nos valores de p pode ser grande.

Agora entendo muito melhor o que me preocupava nos testes t emparelhados versus não emparelhados e nos valores de p associados. Descobrir foi uma jornada interessante e houve muitas surpresas ao longo do caminho. Uma surpresa resultou de uma investigação da contribuição de Michael. Isso é irrepreensível em termos de conselhos práticos. Além disso, ele diz o que eu acho que praticamente todos os estatísticos acreditam, e ele tem vários votos positivos para apoiar isso. No entanto, como uma peça de teoria, não está literalmente correta. Descobri isso elaborando as fórmulas para os valores-p e pensando cuidadosamente em como usar as fórmulas para levar a contra-exemplos. Sou matemático em treinamento, e o contra-exemplo é um "contra-exemplo de matemático". Não é algo que você encontraria nas estatísticas práticas, mas o tipo de coisa que eu estava tentando descobrir quando fiz minha pergunta original.

Aqui está o código R que fornece o contra-exemplo:

vLength <- 10; meanDiff <-10^9; numSamples <- 3;
pv <- function(vLength,meanDiff) {
    X <- rnorm(vLength)
    Y <- X - meanDiff + rnorm(vLength,sd=0.0001)
    Paired <- t.test(X,Y,var.equal=T,paired=T)
    NotPaired <- t.test(X,Y,var.equal=T,paired=F)
    c(Paired$p.value,NotPaired$p.value,cov(X,Y))
}
ans <- replicate(numSamples,pv(vLength,meanDiff))

Observe os seguintes recursos: X e Y são duas tuplas de 10, cuja diferença é enorme e quase constante. Para muitos números significativos, a correlação é 1.000 ... O valor p para o teste não emparelhado é cerca de 10 ^ 40 vezes menor que o valor p para o teste emparelhado. Portanto, isso contradiz o relato de Michael, desde que alguém o leia literalmente, no estilo matemático. Aqui termina a parte da minha resposta relacionada à resposta de Michael.

Aqui estão os pensamentos solicitados pela resposta de Pedro. Durante a discussão da minha pergunta original, conjeturei em um comentário que duas distribuições particulares de valores-p que soam diferentes são de fato as mesmas. Agora eu posso provar isso. O mais importante é que a prova revele a natureza fundamental de um valor-p, tão fundamental que nenhum texto (que eu me deparei) se incomoda em explicar. Talvez todos os estatísticos profissionais conheçam o segredo, mas para mim, a definição de valor-p sempre pareceu estranha e artificial. Antes de revelar o segredo do estatístico, deixe-me especificar a pergunta.

$n>1$$n$$2(n-1)$$n-1$graus de liberdade. Essas duas distribuições são diferentes, então como as distribuições associadas dos valores-p podem ser as mesmas? Somente depois de muito mais reflexão percebi que essa óbvia rejeição de minhas conjecturas era muito fácil.

$f:(0,\infty)\to (0,\infty)$$[0,1]$

$[0,1]$

$n-1$$[0,1]$$2(n-1)$$[0,1]$$[0,1]$

Eu ofereceria outra perspectiva. Frequentemente, o emparelhamento é feito para reduzir o viés. Suponha que você esteja interessado em saber se a exposição E é um fator de risco para um resultado contínuo Y. Para cada sujeito E +, você obtém um sujeito pareado por idade e sexo que é E-. Agora, poderíamos fazer um teste t emparelhado ou um teste t não pareado. Acho que devemos explicar a correspondência explicitamente e realizar um teste t emparelhado. É mais baseado em princípios, pois leva o design em consideração. Se a correspondência deve ser levada em consideração na análise é uma questão do tradeoff de variação de polarização. A contabilização da correspondência na análise fornece mais proteção contra viés, mas pode aumentar a variação. Fazer um teste t não emparelhado pode ser mais eficiente, mas não forneceria nenhuma proteção contra o viés.