Regressão logística: Bernoulli vs. variáveis ​​de resposta binomial

Desejo executar regressão logística com a seguinte resposta binomial e com $X_1$ e $X_2$ como meus preditores.

Eu posso apresentar os mesmos dados que as respostas de Bernoulli no seguinte formato.

As saídas de regressão logística para esses 2 conjuntos de dados são basicamente as mesmas. Os resíduos de desvio e AIC são diferentes. (A diferença entre o desvio nulo e o desvio residual é a mesma nos dois casos - 0,228.)

A seguir estão as saídas de regressão de R. Os conjuntos de dados são chamados binom.data e bern.data.

Aqui está a saída binomial.

Call:
glm(formula = cbind(Successes, Trials - Successes) ~ X1 + X2, 
    family = binomial, data = binom.data)

Deviance Residuals: 
[1]  0  0  0

Coefficients:
            Estimate Std. Error z value Pr(>|z|)
(Intercept)  -2.9649    21.6072  -0.137    0.891
X1Yes        -0.1897     2.5290  -0.075    0.940
X2            0.3596     1.9094   0.188    0.851

(Dispersion parameter for binomial family taken to be 1)

Null deviance:  2.2846e-01  on 2  degrees of freedom
Residual deviance: -4.9328e-32  on 0  degrees of freedom
AIC: 11.473

Number of Fisher Scoring iterations: 4

Aqui está a saída de Bernoulli.

Call:
glm(formula = Success ~ X1 + X2, family = binomial, data = bern.data)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-1.6651  -1.3537   0.7585   0.9281   1.0108  

Coefficients:
            Estimate Std. Error z value Pr(>|z|)
(Intercept)  -2.9649    21.6072  -0.137    0.891
X1Yes        -0.1897     2.5290  -0.075    0.940
X2            0.3596     1.9094   0.188    0.851

(Dispersion parameter for binomial family taken to be 1)

Null deviance: 15.276  on 11  degrees of freedom
Residual deviance: 15.048  on  9  degrees of freedom
AIC: 21.048

Number of Fisher Scoring iterations: 4

Minhas perguntas:

1) Vejo que as estimativas pontuais e os erros padrão entre as duas abordagens são equivalentes neste caso particular. Essa equivalência é verdadeira em geral?

2) Como a resposta para a pergunta nº 1 pode ser justificada matematicamente?

3) Por que os resíduos de desvio e a AIC são diferentes?

1) sim Você pode agregar / desagregar (?) Dados binomiais de indivíduos com as mesmas covariáveis. Isso decorre do fato de que a estatística suficiente para um modelo binomial é o número total de eventos para cada vetor covariável; e o Bernoulli é apenas um caso especial do binômio. Intuitivamente, cada estudo de Bernoulli que compõe um resultado binomial é independente; portanto, não deve haver diferença entre contá-los como um único resultado ou como ensaios individuais separados.

$n$$x_1, x_2, \ldots, x_n$$N_i$

$$Y_i \sim \mathrm{Bin}(N_i, p_i)$$ $$\mathrm{logit}(p_i) = \sum_{k=1}^K \beta_k x_{ik}$$ embora mais tarde veremos que isso não é importante.

A probabilidade de log para este modelo é e maximizamos isso em relação a (nos termos de ) para obter nossas estimativas de parâmetros.

$$\ell(\beta; Y) = \sum_{i=1}^n \log {N_i \choose Y_i} + Y_i \log(p_i) + (N_i - Y_i) \log(1-p_i)$$ $\beta$$p_i$

Agora, considere que, para cada , dividimos o resultado binomial em Bernoulli / resultados binários individuais, como você fez. Especificamente, crie Ou seja, o primeiro é 1s e o restante é 0s. Foi exatamente isso que você fez - mas você poderia igualmente ter feito o primeiro como 0s e o restante como 1s, ou qualquer outro pedido, certo?$i = 1, \ldots, n$$N_i$

$$Z_{i1}, \ldots, Z_{iY_i} = 1$$ $$Z_{i(Y_i+1)}, \ldots, Z_{iN_i} = 0$$ $Y_i$$(N_i - Y_i)$

Seu segundo modelo diz que com o mesmo modelo de regressão para como acima. A probabilidade de log para este modelo é e, devido à maneira como definimos nossos s, isso pode ser simplificado para que deve parecer bastante familiar.

$$Z_{ij} \sim \mathrm{Bernoulli}(p_i)$$ $p_i$ $$\ell(\beta; Z) = \sum_{i=1}^n \sum_{j=1}^{N_i} Z_{ij}\log(p_i) + (1-Z_{ij})\log(1-p_i)$$ $Z_{ij}$ $$\ell(\beta; Y) = \sum_{i=1}^n Y_i \log(p_i) + (N_i - Y_i)\log(1-p_i)$$

Para obter as estimativas no segundo modelo, maximizamos isso em relação a . A única diferença entre isso e a primeira probabilidade de log é o termo , que é constante em relação a , e portanto não afeta a maximização e obteremos as mesmas estimativas.$\beta$$\log {N_i \choose Y_i}$$\beta$

3) Cada observação tem um desvio residual. No modelo binomial, eles são onde é a probabilidade estimada do seu modelo. Observe que seu modelo binomial está saturado (0 graus residuais de liberdade) e possui um ajuste perfeito: para todas as observações, então para todos os .

$$D_i = 2\left[Y_i \log \left( \frac{Y_i/N_i}{\hat{p}_i} \right) + (N_i-Y_i) \log \left( \frac{1-Y_i/N_i}{1-\hat{p}_i} \right)\right]$$ $\hat{p}_i$$\hat{p}_i = Y_i/N_i$$D_i = 0$$i$

No modelo de Bernoulli, Além do fato de que agora você terá resíduos de desvio (em vez de como nos dados binomiais), cada um deles será ou dependendo de ou , e obviamente não são os mesmos que os acima. Mesmo se você somar estes sobre para obter uma soma dos resíduos de desvio para cada , você não terá o mesmo:

$$D_{ij} = 2\left[Z_{ij} \log \left( \frac{Z_{ij}}{\hat{p}_i} \right) + (1-Z_{ij}) \log \left(\frac{1-Z_{ij}}{1-\hat{p}_i} \right)\right]$$ $\sum_{i=1}^n N_i$$n$ $$D_{ij} = -2\log(\hat{p}_i)$$ $$D_{ij} = -2\log(1-\hat{p}_i)$$ $Z_{ij} = 1$$0$$j$$i$ $$D_i = \sum_{j=1}^{N_i} D_{ij} = 2\left[Y_i \log \left( \frac{1}{\hat{p}_i} \right) + (N_i-Y_i) \log \left( \frac{1}{1-\hat{p}_i} \right)\right]$$

O fato de a AIC ser diferente (mas a mudança no desvio não é) volta ao termo constante que era a diferença entre as probabilidades logarítmicas dos dois modelos. Ao calcular o desvio, isso é cancelado porque é o mesmo em todos os modelos com base nos mesmos dados. O AIC é definido como e esse termo combinatório é a diferença entre os s:

$$AIC = 2K - 2\ell$$ $\ell$

$$AIC_{\mathrm{Bernoulli}} - AIC_{\mathrm{Binomial}} = 2\sum_{i=1}^n \log {N_i \choose Y_i} = 9.575$$

Eu só quero fazer comentários sobre o último parágrafo: “O fato de a AIC ser diferente (mas a mudança no desvio não é) volta ao termo constante que foi a diferença entre as probabilidades logarítmicas dos dois modelos. Ao calcular a alteração no desvio, isso é cancelado porque é o mesmo em todos os modelos com base nos mesmos dados. "Infelizmente, isso não está correto para a alteração no desvio. O desvio não inclui o termo constante Ex (constante extra probabilidade de log para os dados binomiais). Portanto, a mudança no desvio não tem nada a ver com o termo constante EX. O desvio compara um determinado modelo ao modelo completo.O fato de que os desvios são diferentes de Bernoulli / binário e modelagem binomial, mas a mudança no desvio não é devido à diferença nos valores completos de probabilidade de log do modelo. Esses valores são cancelados no cálculo das alterações de desvio. Portanto, os modelos de regressão logística de Bernoulli e binomial produzem alterações idênticas de desvio, desde que as probabilidades previstas pij e pi sejam as mesmas. De fato, isso é verdade para o probit e outras funções de link.

Permita que lBm e lBf denotem os valores de probabilidade logarítmica de ajustar o modelo me o modelo completo f aos dados de Bernoulli. O desvio é então

    DB=2(lBf - lBm)=-2(lBm – lBf).

Embora o lBf seja zero para os dados binários, não simplificamos o banco de dados e o mantemos como está. O desvio da modelagem binomial com as mesmas covariáveis ​​é

    Db=2(lbf+Ex – (lbm+Ex))=2(lbf – lbm) = -2(lbm – lbf)

onde lbf + Ex e lbm + Ex são os valores de probabilidade logarítmica dos modelos full e m ajustados aos dados binomiais. O termo extra constante (Ex) desapareceu do lado direito do Db. Agora observe a mudança nos desvios do Modelo 1 para o Modelo 2. A partir da modelagem de Bernoulli, temos uma mudança no desvio de

    DBC=DB2-DB1=2(lBf – lBm2)-2(lBf – lBm1) =2(lBm1 – lBm2).

Da mesma forma, a mudança no desvio do ajuste binomial é

    DbC=DB2-DB1=2(lbf – lbm2)-2(lbf – lbm1) =2(lbm1 – lbm2).

Segue-se imediatamente que as alterações de desvio estão livres das contribuições de probabilidade de log dos modelos completos, lBf e lbf. Portanto, obteremos a mesma alteração no desvio, DBC = DbC, se lBm1 = lbm1 e lBm2 = lbm2. Sabemos que é o caso aqui e é por isso que estamos obtendo as mesmas alterações de desvio da modelagem binomial e de Bernoulli. A diferença entre lbf e lBf leva a diferentes desvios.