Quando Poisson e regressões binomiais negativas se ajustam aos mesmos coeficientes?

Notei que em R, Poisson e regressões binomiais negativas (RN) sempre parecem se encaixar nos mesmos coeficientes para preditores categóricos, mas não contínuos.

Por exemplo, aqui está uma regressão com um preditor categórico:

data(warpbreaks)
library(MASS)

rs1 = glm(breaks ~ tension, data=warpbreaks, family="poisson")
rs2 = glm.nb(breaks ~ tension, data=warpbreaks)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

Aqui está um exemplo com um preditor contínuo, em que Poisson e NB se ajustam a diferentes coeficientes:

data(cars)
rs1 = glm(dist ~ speed, data=cars, family="poisson")
rs2 = glm.nb(dist ~ speed, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

(É claro que esses dados não são contados e os modelos não são significativos ...)

Então, recodifico o preditor em um fator e os dois modelos novamente se encaixam nos mesmos coeficientes:

library(Hmisc)
speedCat = cut2(cars$speed, g=5) 
#you can change g to get a different number of bins

rs1 = glm(cars$dist ~ speedCat, family="poisson")
rs2 = glm.nb(cars$dist ~ speedCat)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

No entanto, a regressão binomial negativa de Joseph Hilbe dá um exemplo (6.3, pág. 118-119) em que um preditor categórico, sexo, se encaixa com coeficientes ligeiramente diferentes pelos Poisson ( ) e NB ( ). Ele diz: “As taxas de incidência entre os modelos de Poisson e RN são bastante semelhantes. Isso não é surpreendente, dada a proximidade de [correspondente a em R] a zero. ”b = 0,881 α 1 /$b=0.883$$b=0.881$$\alpha$$1/\theta$

Entendo isso, mas nos exemplos acima, summary(rs2)diz-nos que é estimado em 9,16 e 7,93, respectivamente.$\theta$

Então, por que os coeficientes são exatamente os mesmos? E por que apenas para preditores categóricos?

---

Editar # 1

Aqui está um exemplo com dois preditores não ortogonais. De fato, os coeficientes não são mais os mesmos:

data(cars)

#make random categorical predictor
set.seed(1); randomCats1 = sample( c("A","B","C"), length(cars$dist), replace=T)
set.seed(2); randomCats2 = sample( c("C","D","E"), length(cars$dist), replace=T)

rs1 = glm(dist ~ randomCats1 + randomCats2, data=cars, family="poisson")
rs2 = glm.nb(dist ~ randomCats1 + randomCats2, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

Além disso, a inclusão de outro preditor faz com que os modelos se ajustem a diferentes coeficientes, mesmo quando o novo preditor é contínuo. Então, isso tem algo a ver com a ortogonalidade das variáveis ​​fictícias que criei no meu exemplo original?

rs1 = glm(dist ~ randomCats1 + speed, data=cars, family="poisson")
rs2 = glm.nb(dist ~ randomCats1 + speed, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

Você descobriu uma propriedade íntima, mas genérica, dos GLMs, ajustada pela máxima probabilidade . O resultado desaparece quando se considera o caso mais simples de todos: ajustar um único parâmetro a uma única observação!

Uma resposta frase : Se tudo o que interessa é encaixe meios separados para subconjuntos disjuntos de amostra, em seguida, MLG irá sempre originar μ J = ˉ y j para cada subconjunto j , de modo que a estrutura de erro real e parametrização da densidade tanto tornar irrelevante para a estimativa (ponto)!$\hat\mu_j = \bar y_j$$j$

Um pouco mais : Ajustar fatores categóricos ortogonais à máxima probabilidade é equivalente a ajustar meios separados para separar subconjuntos de nossa amostra, portanto, isso explica por que Poisson e GLMs binomiais negativos produzem as mesmas estimativas de parâmetros. De fato, o mesmo acontece se usamos regressão de Poisson, negbin, Gaussian, Gaussian inversa ou Gamma (veja abaixo). No caso de Poisson e negbin, a função de link padrão é o link de , mas esse é um arenque vermelho; Embora isso produza as mesmas estimativas brutas de parâmetro, veremos abaixo que essa propriedade realmente não tem nada a ver com a função de link.$\log$

Quando estamos interessados ​​em uma parametrização com mais estrutura, ou que depende de preditores contínuos, a estrutura de erro assumida se torna relevante devido à relação de variância média da distribuição no que se refere aos parâmetros e à função não linear usada para modelar a condicional significa.

GLMs e famílias de dispersão exponencial: curso intensivo

Uma família de dispersão exponencial na forma natural é aquela que a densidade logarítmica é da forma

$$\log f(y;\,\theta,\nu) = \frac{\theta y - b(\theta)}{\nu} + a(y,\nu) \>.$$

Aqui é o parâmetro natural e ν é o parâmetro de dispersão . Se v fosse conhecido, seria apenas uma família exponencial de um parâmetro padrão. Todos os GLMs considerados abaixo assumem um modelo de erro dessa família.$\theta$$\nu$$\nu$

Considere uma amostra de uma única observação dessa família. Se nos encaixamos por máxima verossimilhança, temos que y = b ' ( θ ) , independentemente do valor de ν . Este estende-se facilmente ao caso de uma amostra iid uma vez que as probabilidades de log adicionar, obtendo-se ˉ y = b ' ( θ ) .$\theta$$y = b'(\hat\theta)$$\nu$$\bar y = b'(\hat\theta)$

Mas também sabemos, devido à boa regularidade da densidade do log em função de , que $\theta$ Então, de fato b ′ ( θ ) = E Y = μ .

$$\frac{\partial}{\partial \theta} \mathbb E \log f(Y;\theta,\nu) = \mathbb E \frac{\partial}{\partial \theta} \log f(Y;\theta,\nu) = 0 \>.$$ $b'(\theta) = \mathbb E Y = \mu$

Uma vez que as estimativas de probabilidade máxima são invariante sob transformações, isto significa que para esta família de densidades.$\bar y = \hat\mu$

$\mu_i$$\mu_i = g^{-1}(\mathbf x_i^T \beta)$$g$$\mathbf x_i$$j$$\mu_i = g(\beta_j)$$\beta_j$

O que há de tão diferente nos preditores contínuos?

Quando os preditores são contínuos ou são categóricos, mas não podem ser reduzidos a uma forma ortogonal, a probabilidade não é mais fatorada em termos individuais com uma média separada, dependendo de um parâmetro separado. Neste ponto, a estrutura de erro e função de ligação não entram em jogo.

$$\sum_{i=1}^n \frac{(y_i - \mu_i)x_{ij}}{\sigma_i^2}\frac{\partial \mu_i}{\partial \lambda_i} = 0\>,$$ $j = 1,\ldots,p$$\lambda_i = \mathbf x_i^T \beta$$\beta$$\nu$$\mu_i = g(\lambda_i) = g(\mathbf x_i^T \beta)$$\sigma_i^2$

Dessa forma, a função de link e o modelo de erro assumido tornam-se relevantes para a estimativa.

Exemplo: o modelo de erro (quase) não importa

$k = 6$

$\log$

A partir da tabela, podemos ver que as estimativas dos parâmetros são idênticas , embora alguns desses GLMs sejam para dados discretos e outros sejam contínuos, e alguns sejam para dados não negativos, enquanto outros não.

      negbin  poisson gaussian invgauss    gamma
XX1 4.234107 4.234107 4.234107 4.234107 4.234107
XX2 4.790820 4.790820 4.790820 4.790820 4.790820
XX3 4.841033 4.841033 4.841033 4.841033 4.841033

$0$

Exemplo: a função de link (quase) não importa

$\log$$\log(\hat \beta)$$\log(\hat \beta^2)$$\hat\beta$

> coefs.po
         log       id     sqrt
XX1 4.234107 4.234107 4.234107
XX2 4.790820 4.790820 4.790820
XX3 4.841033 4.841033 4.841033

A ressalva no cabeçalho refere-se simplesmente ao fato de que as estimativas brutas variarão com a função de link, mas as estimativas implícitas dos parâmetros médios não.

Código R

# Warning! This code is a bit simplified for compactness.
library(MASS)
n <- 5
m <- 3
set.seed(17)
b <- exp(5+rnorm(m))
k <- 6

# Random negbin data; orthogonal factors
y <- rnbinom(m*n, size=k, mu=rep(b,each=n))
X <- factor(paste("X",rep(1:m,each=n),sep=""))

# Fit a bunch of GLMs with a log link
con <- glm.control(maxit=100)
mnb <- glm(y~X+0, family=negative.binomial(theta=2))
mpo <- glm(y~X+0, family="poisson")
mga <- glm(y~X+0, family=gaussian(link=log), start=rep(1,m), control=con)
miv <- glm(y~X+0, family=inverse.gaussian(link=log), start=rep(2,m), control=con)
mgm <- glm(y~X+0, family=Gamma(link=log), start=rep(1,m), control=con)    
coefs <- cbind(negbin=mnb$coef, poisson=mpo$coef, gaussian=mga$coef
                   invgauss=miv$coef, gamma=mgm$coef)

# Fit a bunch of Poisson GLMs with different links.
mpo.log  <- glm(y~X+0, family=poisson(link="log"))
mpo.id   <- glm(y~X+0, family=poisson(link="identity"))
mpo.sqrt <- glm(y~X+0, family=poisson(link="sqrt"))   
coefs.po <- cbind(log=mpo$coef, id=log(mpo.id$coef), sqrt=log(mpo.sqrt$coef^2))

Para ver o que está acontecendo aqui, é útil primeiro fazer a regressão sem a interceptação, pois uma interceptação em uma regressão categórica com apenas um preditor não tem sentido:

> rs1 = glm(breaks ~ tension-1, data=warpbreaks, family="poisson")
> rs2 = glm.nb(breaks ~ tension-1, data=warpbreaks)

Como Poisson e regressões binomiais negativas especificam o log do parâmetro da média, para a regressão categórica, exponenciando os coeficientes, você obterá o parâmetro da média real para cada categoria:

>  exp(cbind("Poisson"=coef(rs1), "NB"=coef(rs2)))
          Poisson       NB
tensionL 36.38889 36.38889
tensionM 26.38889 26.38889
tensionH 21.66667 21.66667

Estes parâmetros correspondem às médias reais sobre os diferentes valores de categoria:

> with(warpbreaks,tapply(breaks,tension,mean))
       L        M        H 
36.38889 26.38889 21.66667 

$\lambda$

$\lambda$

$\lambda$$\theta$$\theta$$\lambda$

$$\begin{align} L(X,\lambda,\theta) &= \prod \left(\frac{\theta}{\lambda+\theta}\right)^\theta \frac{\Gamma(\theta + x_i)}{x_i!\Gamma(\theta)}\left(\frac{\lambda}{\lambda+\theta}\right)^{x_i}\\ \log L(X,\lambda,\theta) &= \sum\theta\left(\text{log}\theta-\text{log}(\lambda+\theta)\right) +x_i\left(\text{log}\lambda-\text{log}(\lambda+\theta)\right) +\log\left(\frac{\Gamma(\theta + x_i)}{x_i!\Gamma(\theta)}\right)\\ \frac{d}{d\lambda}\log L(X,\lambda,\theta) &= \sum \frac{x_i}{\lambda}-\frac{\theta+x_i}{\lambda+\theta} =n\left(\frac{\bar{x}}{\lambda}-\frac{\bar{x}+\theta}{\lambda+\theta}\right), \end{align}$$ $\lambda=\bar{x}$

$\text{log}(\lambda)$$\lambda$

$\lambda$$\lambda$$2$$5$$10$$5*5=25$$\lambda$$11$