Como é possível que o Poisson GLM aceite números não inteiros?

Estou realmente impressionado com o fato de o Poisson GLM aceitar números não inteiros! Veja:

Dados (conteúdo de data.txt):

1   2001    0.25  1
1   2002    0.5   1
1   2003    1     1
2   2001    0.25  1
2   2002    0.5   1
2   2003    1     1

Script R:

t        <- read.table("data.txt")
names(t) <- c('site', 'year', 'count', 'weight')
tm       <- glm(count ~ 0 + as.factor(site) + as.factor(year), data = t, 
                family = "quasipoisson")  # also works with family="poisson"
years    <- 2001:2003
plot(years, exp(c(0, tail(coef(tm), length(years)-1))), type = "l")

O índice do ano resultante é o "esperado", ou seja, 1-2-4em anos 2001-2003.

Mas como é possível que o Poisson GLM pegue números não inteiros? A distribuição Poisson sempre foi somente número inteiro!

r generalized-linear-model poisson-distribution poisson-regression

— Curioso
fonte

Você poderia esclarecer o que exatamente você quer saber? Como o algoritmo de ajuste lida com não-inteiros? Ou por que R não verifica se a resposta é um número inteiro? Ou se algo está errado no resultado quando são fornecidos números não inteiros?

— Momo

@ Momo, sim, todas essas perguntas são interessantes!

— Curioso

Edite sua pergunta para refletir isso. É mais provável que você obtenha uma boa resposta dessa maneira.

— Momo

Não que isso realmente importe, como também é verdade family="poisson", mas observe que seu exemplo não é um Poisson GLM, pois você está usando a quasipoissonfamília, o que depende apenas da relação entre a média e a variância de qualquer maneira. Nesse caso, não deve haver surpresa em obter números não inteiros.

— Aaron - Reinstate Monica

Aqui estão algumas referências sobre por que isso pode fazer sentido.

— Dimitriy V. Masterov 15/09/2013

Respostas:

Claro que você está certo de que a distribuição de Poisson tecnicamente é definida apenas para números inteiros. No entanto, a modelagem estatística é a arte de boas aproximações (" todos os modelos estão errados ") e há momentos em que faz sentido tratar dados não inteiros como se fossem [aproximadamente] Poisson.

Por exemplo, se você enviar dois observadores para registrar os mesmos dados de contagem, pode acontecer que os dois nem sempre concordem com a contagem - pode-se dizer que algo aconteceu três vezes enquanto o outro disse que aconteceu quatro vezes. É bom ter a opção de usar 3.5 ao ajustar seus coeficientes de Poisson, em vez de escolher entre 3 e 4.

Computacionalmente, o fatorial no Poisson pode dificultar o trabalho com não-inteiros, mas existe uma generalização contínua do fatorial. Além disso, a realização da estimativa de máxima verossimilhança para o Poisson nem mesmo envolve a função fatorial, uma vez que você simplifica a expressão .

— zkurtz
fonte

Para uma resposta , se você assumir que o logaritmo de sua expectativa é uma combinação linear de preditores e sua variação é igual à sua expectativa , estimativas consistentes para a regressão os coeficientes podem ser obtidos através da resolução das equações de pontuação para o modelo de Poisson: $y$ $\renewcommand{\vec}[1]{\boldsymbol{#1}}\vec{x}$

E Y_{Eu} = \exp β^{T} x_{Eu}

$\operatorname{E}Y_i=\exp{\vec\beta^{\mathrm{T}}\vec{x}_i}$

Var Y_{Eu} = E Y_{Eu}

$\operatorname{Var}Y_i=\operatorname{E}Y_i$

β

$\vec\beta$

\sum_{Eu}^{n} x_{Eu} (y_{Eu} - \exp β^{T} x_{Eu}) = 0 0

$\sum_i^n{\vec{x}_i\left(y_i-\exp{\vec\beta^{\mathrm{T}}\vec{x}_i}\right)}=0$ Obviamente, a consistência não implica validade de quaisquer testes ou intervalos de confiança; a probabilidade não foi especificada.

Isso se segue da abordagem do método dos momentos que aprendemos na escola e leva à de equações de estimativa generalizada .

@ Aaron apontou que você está realmente usando um ajuste quase-Poisson no seu código. Isso significa que a variação é proporcional à média

Var Y_{Eu} = ϕ E Y_{Eu}

$\operatorname{Var}Y_i=\phi\operatorname{E}Y_i$

$\phi$

— Scortchi - Restabelecer Monica
fonte