Comparando coeficientes logísticos em modelos com diferentes variáveis ​​dependentes?


14

Esta é uma pergunta de acompanhamento da que eu perguntei alguns dias atrás . Eu sinto que isso coloca uma inclinação diferente sobre o assunto, então listamos uma nova pergunta.

A questão é: posso comparar a magnitude dos coeficientes entre os modelos com diferentes variáveis ​​dependentes? Por exemplo, em uma única amostra, digamos que quero saber se a economia é um preditor mais forte de votos na Câmara dos Deputados ou no presidente. Nesse caso, minhas duas variáveis ​​dependentes seriam o voto na Câmara (codificado 1 para democrata e 0 para republicano) e voto para presidente (1 para democrata e 0 para republicano) e minha variável independente é a economia. Eu esperaria um resultado estatisticamente significativo nos dois escritórios, mas como avaliar se ele tem um efeito 'maior' em um a mais que no outro? Este pode não ser um exemplo particularmente interessante, mas estou curioso para saber se existe uma maneira de comparar. Eu sei que não se pode apenas olhar para o 'tamanho' do coeficiente. Então, é possível comparar coeficientes em modelos com diferentes variáveis ​​dependentes? E, se sim, como isso pode ser feito?

Se nada disso fizer sentido, me avise. Todos os conselhos e comentários são apreciados.


2
Como você sabe que não se pode apenas olhar para o "tamanho" do coeficiente?
onestop 26/03

Mesclei suas duas contas. Você ainda precisará se registrar, conforme indicado nas Perguntas frequentes . (Thx @onestop para apontando para a duplicada.)
chl

Supus que não pudesse comparar o 'efeito' dos preditores entre os modelos observando os coeficientes das respostas à minha pergunta anterior. As coisas são diferentes para o meu exemplo acima?
Ejs

2
Começar uma recompensa - parece ser uma pergunta importante com três respostas muito diferentes, nenhuma das quais com um único voto . Nós podemos fazer melhor. O link de Andy W sobre esta questão relacionada parece pertinente.
Matt Parker

Respostas:


4

A resposta curta é "sim, você pode" - mas você deve comparar as Estimativas de Máxima Verossimilhança (MLEs) do "grande modelo" com todas as co-variáveis ​​nos dois modelos ajustados a ambos.

Esta é uma maneira "quase formal" de obter que a teoria das probabilidades responda à sua pergunta

No exemplo, e Y 2 são o mesmo tipo de variáveis ​​(frações / porcentagens), portanto são comparáveis. Assumirei que você encaixa o mesmo modelo nos dois. Portanto, temos dois modelos:Y1Y2

l o g ( p 1 i

M1:Y1iBin(n1i,p1i)
M2:Y2iBin(n2i,p2i)log(p 2 i
log(p1i1p1i)=α1+β1Xi
M2:Y2iBin(n2i,p2i)
log(p2i1p2i)=α2+β2Xi

Então você tem a hipótese que deseja avaliar:

H0:β1>β2

{Y1i,Y2i,Xi}i=1n

P=Pr(H0|{Y1i,Y2i,Xi}i=1n,I)

H0

P=Pr(H0,α1,α2,β1,β2|{Y1i,Y2i,Xi}i=1n,I)dα1dα2dβ1dβ2

A hipótese simplesmente restringe o alcance da integração, portanto, temos:

P=β2Pr(α1,α2,β1,β2|{Y1i,Y2i,Xi}i=1n,I)dα1dα2dβ1dβ2

Como a probabilidade depende dos dados, ela será fatorada nos dois posteriores separados para cada modelo

Pr(α1,β1|{Y1i,Xi,Y2i}i=1n,I)Pr(α2,β2|{Y2i,Xi,Y1i}i=1n,I)

Now because there is no direct links between Y1i and α2,β2, only indirect links through Xi, which is known, it will drop out of the conditioning in the second posterior. same for Y2i in the first posterior.

From standard logistic regression theory, and assuming uniform prior probabilities, the posterior for the parameters is approximately bi-variate normal with mean equal to the MLEs, and variance equal to the information matrix, denoted by V1 and V2 - which do not depend on the parameters, only the MLEs. so you have straight-forward normal integrals with known variance matrix. αj marginalises out with no contribution (as would any other "common variable") and we are left with the usual result (I can post the details of the derivation if you want, but its pretty "standard" stuff):

P=Φ(β^2,MLEβ^1,MLEV1:β,β+V2:β,β)

Where Φ() is just the standard normal CDF. This is the usual comparison of normal means test. But note that this approach requires the use of the same set of regression variables in each. In the multivariate case with many predictors, if you have different regression variables, the integrals will become effectively equal to the above test, but from the MLEs of the two betas from the "big model" which includes all covariates from both models.


3

Why not? The models are estimating how much 1 unit of change in any model predictor will influence the probability of "1" for the outcome variable. I'll assume the models are the same-- that they have the same predictors in them. The most informative way to compare the relative magnitudes of any given predictor in the 2 models is to use the models to calculate (either deterministically or better by simulation) how much some meaningful increment of change (e.g., +/- 1 SD) in the predictor affects the probabilities of the respective outcome variables--& compare them! You'll want to determine confidence intervals for the two estimates as well as so you can satisfy yourself that the difference is "significant," practically & statistically.


Thanks dmk8, very useful. Some follow-up points/questions: is this what is often meant when referring to varying the variable of interest (the economy from bad to good for example) while holding all control variables at their means? What do you mean by deterministically? How do I determine the confidence intervals around the probabilities?
Ejs

2
Consult the King. He will not disappoint. King, G., Tomz, M., & Wittenberg., J. (2000). Making the Most of Statistical Analyses: Improving Interpretation and Presentation. Am. J. Pol. Sci, 44(2), 347-361.
dmk38

2

I assume that by "my independent variable is the economy" you're using shorthand for some specific predictor.

At one level, I see nothing wrong with making a statement such as

X predicts Y1 with an odds ratio of _ and a 95% confidence interval of [ _ , _ ] while X predicts Y2 with an odds ratio of _ and a 95% confidence interval of [ _ , _ ].

@dmk38's recent suggestions look very helpful in this regard.

You might also want to standardize the coefficients to facilitate comparison.

At another level, beware of taking inferential statistics (standard errors, p-values, CIs) literally when your sample constitutes a nonrandom sample of the population of years to which you might want to generalize.


Yes, 'the economy' is shorthand for perceptions of national economic conditions. Does the same advice apply when other predictors (controls) are included in the model?
Ejs

@Ejs - I'm afraid there's no short answer to your last question. You're getting into what it means to assess relationships when using statistical control - a fabulously intricate topic worthy of extensive study. You're also probably getting into the topic of variable selection, which is a big one as well. Imho the best source for the committed student of these topics is Pedhazur's amazon.com/Multiple-regression-behavioral-research-Pedhazur/…
rolando2

1

Let us say the interest lies in comparing two groups of people: those with X1=1 and those with X1=0.

The exponential of β1, the corresponding coefficient, is interpreted as the ratio of the odds of success for those with X1=1 over the odds of success for those with X1=0, conditional on the other variables in the model.

So, if you have two models with different dependend variables then the interpretation of β1 changes since it is not conditioned upon the same set of variables. As a consequence, the comparison is not direct...


Does this have any implications for roland2's suggestion?
Ejs

@Ejs. Do you refer to the standardisation step? By the way, does my answer help ? Have I misunderstood the question ?
ocram
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.