Como o poder de uma regressão logística e de um teste t se compara?


18

O poder de uma regressão logística e de um teste t é equivalente? Nesse caso, eles devem ser "equivalentes à densidade de dados", pelo que quero dizer que o mesmo número de observações subjacentes produz o mesmo poder, dado um alfa fixo de 0,05. Considere dois casos:

  1. [Teste t paramétrico]: são feitos 30 desenhos de uma observação binomial e os valores resultantes são calculados como média. Isso é feito 30 vezes para o grupo A (que tem um Pr binomial de 0,70 de ocorrência) e 30 vezes para o grupo B (que tem um Pr binomial de 0,75 de ocorrência). Isso gera 30 médias por grupo que representam um resumo de 1.800 empates de uma distribuição binomial. Um teste t de 58df é realizado para comparar as médias.
  2. [A regressão logística]: Uma regressão logística é executada com uma inclinação codificada simulada que representa a participação no grupo e cada um dos 1.800 sorteios.

Minha pergunta tem duas partes:

  1. Dado um conjunto alfa de 0,05, o poder dessas metodologias será o mesmo ou diferente? Por quê? Como posso provar isso?
  2. A resposta à pergunta 1 é sensível aos tamanhos das amostras que entram no teste t, ao tamanho da amostra de cada grupo no teste t, às probabilidades binomiais subjacentes ou a algum outro fator? Se sim, como posso saber (sem simulação) que o poder é realmente diferente e que tipo de mudanças produzirá que tipo de mudanças no poder? Como alternativa, forneça o código R elaborado que resolve o problema usando a simulação.

Respostas:


19

Se calculei corretamente, a regressão logística assintoticamente tem o mesmo poder que o teste t. Para ver isso, anote sua probabilidade logarítmica e calcule a expectativa de seu Hessian no seu máximo global (suas estimativas negativas são a matriz de variância-covariância da solução ML). Não se preocupe com a parametrização logística usual: é mais simples parametrizar com as duas probabilidades em questão. Os detalhes dependerão exatamente de como você testa a importância de um coeficiente de regressão logística (existem vários métodos).

O fato de esses testes terem poderes semelhantes não deve ser muito surpreendente, porque a teoria do qui-quadrado para estimativas de ML é baseada em uma aproximação normal da probabilidade logarítmica, e o teste t é baseado em uma aproximação normal das distribuições de proporções. O cerne da questão é que ambos os métodos fazem as mesmas estimativas das duas proporções e ambas as estimativas têm os mesmos erros padrão.


Uma análise real pode ser mais convincente. Vamos adotar uma terminologia geral para os valores em um determinado grupo (A ou B):

  • é a probabilidade de um 1.p
  • é o tamanho de cada conjunto de empates.n
  • é o número de conjuntos de empates.m
  • é a quantidade de dados.N=mn
  • (igual a 0 ou 1 ) é o valor do j- ésimo resultado no i- ésimo conjunto de empates.kij01jthith
  • é o número total de unidades no i- ésimo conjunto de empates.kiith
  • é o número total de unidades.k

A regressão logística é essencialmente o estimador de ML de . Seu logaritmo é dado porp

log(L)=klog(p)+(Nk)log(1p).

Suas derivadas em relação ao parâmetro sãop

log(L)p=kpNk1p and

2log(L)p2=kp2+Nk(1p)2.

Configurando os rendimentos primeiro a zero o ML estimativa P = k / N e entupimento em que o recroco da segunda expressão produz a variância p ( 1 - P ) / N , que é o quadrado do erro padrão.p^=k/Np^(1p^)/N

A estatística t será obtida dos estimadores com base nos dados agrupados por conjuntos de sorteios; ou seja, como a diferença das médias (uma do grupo A e outra do grupo B) dividida pelo erro padrão dessa diferença, que é obtido a partir dos desvios padrão das médias. Vamos examinar a média e o desvio padrão para um determinado grupo, então. As médias iguais , que é idêntico ao ML estimador p . O desvio padrão em questão é o desvio padrão dos meios de tração; isto é, é o desvio padrão do conjunto de k i / n . Aqui está o cerne da questão, então vamos explorar algumas possibilidades.k/Np^ki/n

  1. n=1m=NkiN/(N1)p^(1p^)N/(N1)1N=1800

  2. ki/np(1p)/nkinpp(1p)mp(1p)/n/m=p(1p)/N

mnmn=N

p=0.70p=0.74m=900,n=1m=n=30m=2,n=450α=0.05p=0.50p=0.52

A moral dessa análise é:

  1. Nm
  2. mn
  3. N

1
@suncoolsu É uma pena que não podemos votar a atualização ...
chl

2
@chl .. Eu concordo, eu gostaria de dar (+2) :-), na verdade eu nunca pensei tão profundamente sobre esta questão até esta atualização.
suncoolsu

Como sempre, um tour de force de Bill Huber. Examino a questão intrigada sobre como comparar a potência do teste t com uma regressão logística. Mas parece que a semelhança é colocar ambos os métodos para a tarefa de testar proporções ..
Michael R. Chernick

8

Aqui está o código em R que ilustra a simulação da resposta do whuber . Comentários sobre como melhorar meu código R são bem-vindos.

N <- 900            # Total number data points
m <- 30;            # Size of draw per set
n <- 30;            # No of sets

p_null <- 0.70;     # Null hypothesis
p_alternate <- 0.74 # Alternate hypothesis
tot_iter <- 10000;

set.seed(1);        # Initialize random seed
null_rejected <- 0; # Set counter to 0
for (iter in 1:tot_iter)
{
    draws1 <- matrix(0,m,n);
    draws2 <- matrix(0,m,n);
    means1 <- matrix(0,m);
    means2 <- matrix(0,m);

    for (obs in 1:m)
    {
        draws1[obs,] <- rbinom(n,1,p_null);
        draws2[obs,] <- rbinom(n,1,p_alternate);

        means1[obs,] <- mean(draws1[obs,]);
        means2[obs,] <- mean(draws2[obs,]);
    }
    if (t.test(means1,means2,alternative="l")$p.value <= 0.05)
    {
        null_rejected <- null_rejected + 1; 
    }
}
power <- null_rejected / tot_iter

1
Obrigado por compartilhar isso! (. Gosto do seu estilo de fazer todas as variáveis parâmetros e claramente comentando-los) Eu estou sem votos hoje :-( então eu vou ter que esperar para upvote-lo.
whuber

2
replicate()rbinom() k{*}apply()

@chl Obrigado. Estou usando essas perguntas para aprender o R! Portanto, comentários como o seu são valiosos.

@Skrikant LOL Acabei de adicionar: "BTW, eu gosto do jeito que você aprende R!"
chl

Estou confuso; isso não dá apenas o poder do teste?
russellpierce
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.