Por que os resíduos de Pearson de uma regressão binomial negativa são menores do que os de uma regressão de Poisson?

Eu tenho esses dados:

set.seed(1)
predictor  <- rnorm(20)
set.seed(1)
counts <- c(sample(1:1000, 20))
df <- data.frame(counts, predictor)

Fiz uma regressão de Poisson

poisson_counts <- glm(counts ~ predictor, data = df, family = "poisson")

E uma regressão binomial negativa:

require(MASS)
nb_counts <- glm.nb(counts ~ predictor, data = df)

Então eu calculei para estatísticas de dispersão para a regressão de poisson:

sum(residuals(poisson_counts, type="pearson")^2)/df.residual(poisson_counts)

# [1] 145.4905

E a regressão binomial negativa:

sum(residuals(nb_counts, type="pearson")^2)/df.residual(nb_counts)

# [1] 0.7650289

Alguém é capaz de explicar, SEM USAR EQUAÇÕES, por que a estatística de dispersão para a regressão binomial negativa é consideravelmente menor que a estatística de dispersão para a regressão de poisson?

— luciano
fonte

Respostas:

Isso é bastante direto, mas o "sem usar equações" é uma desvantagem substancial. Eu posso explicar isso em palavras, mas essas palavras necessariamente refletem equações. Espero que seja aceitável / ainda tenha algum valor para você. (As equações relevantes não são difíceis.)

Existem vários tipos de resíduos. Os resíduos brutos são simplesmente a diferença entre os valores de resposta observados (no seu caso, o counts) e os valores de resposta previstos do modelo. Os resíduos de Pearson dividem esses pelo desvio padrão (a raiz quadrada da função de variação para a versão específica do modelo linear generalizado que você está usando).

O desvio padrão associado à distribuição de Poisson é menor que o do binômio negativo . Assim, quando você divide por um denominador maior, o quociente é menor.

Além disso, o binômio negativo é mais apropriado ao seu caso, porque o seu countsserá distribuído como um uniforme na população. Ou seja, sua variação não será igual à sua média.

— - Reinstate Monica
fonte

Embora o PO solicite uma explicação não matemática, ainda seria bom ver justificativa matemática (ou alguma igualmente rigorosa e clara) para essa resposta. Ao ler a pergunta, minha intuição foi a de que "como o Poisson é um caso especial (limitante) do RN e o RN tem mais parâmetros, há mais flexibilidade no ajuste, portanto, é claro que qualquer medida razoável de resíduos não deve aumentar ao substituir um Poisson GLM por um NB GLM. " Pergunto-me se essa intuição estava realmente correta.

— whuber

. Se

X \sim Poisson (λ)

$X\sim\text{Poisson}(\lambda)$

E [X] = V [X] = λ

$E[X]=V[X]=\lambda$

X \sim NegBin (r, p)

$X\sim\text{NegBin}(r,p)$

E [X] = p r / (1 - p)

$E[X]=pr/(1-p)$

V [X] = p r / (1 - p)^{2}

$V[X]=pr/(1-p)^2$ . Portanto, uma variação de Poisson é igual à média, uma variação de NegBin é maior que a média (

). É por isso que "o desvio padrão associado à distribuição de Poisson é menor que o do binômio negativo".

p < 1 \Rightarrow (1 - p)^{2} < (1 - p)

$p<1\Rightarrow (1-p)^2<(1-p)$

— Sergio

@Sergio O cerne da questão, porém, é que no modelo de Poisson, estamos trabalhando com a estimativa

em vez de

em si e no modelo NB estamos a trabalhar da mesma forma com duas estimativas

. Sua comparação, portanto, não se aplica diretamente. Sem realmente escrever as fórmulas para os MLEs nos dois modelos, não é de todo óbvio quais devem ser as relações entre esses conjuntos de estimativas. Além disso, o resíduo de Pearson é uma razão e o argumento sobre variações refere-se apenas aos denominadores, o que é apenas metade da história.

\hat{λ}

$\hat\lambda$

λ

$\lambda$

\hat{r}

$\hat{r}$

\hat{p}

$\hat{p}$

— whuber

As estimativas do MLE são consistentes. O problema é que quando, como diz Gung, "as contagens serão distribuídas como uniformes na população. Ou seja, sua variação não será igual à média", você nunca poderá obter uma variação estimada de Poisson maior que a estimativa Poisson significa, mesmo que suas estimativas sejam imparciais e consistentes. É um problema de especificação incorreta.

— Sergio

Para o modelo de Poisson, se o expection para o th observação é sua variância é , & a Pearson residual por conseguinte $i$ $Y_i$ $\mu_i$ $\mu_i$

\frac{y_{Eu} - {\hat{μ}}_{Eu}}{\sqrt{{\hat{μ}}_{Eu}}}

$\frac{y_i-\hat\mu_i}{\sqrt{\hat\mu_i}}$

em que é a estimativa da média. A parametrização do modelo binomial negativo usado no MASS é explicada aqui . Se a expectativa para a ésima observação é sua variação é $\hat\mu$ $i$ $Y_i$ $\mu_i$ e, portanto, o resíduo de Pearson $\mu_i + \frac{\mu^2}{\theta}$

\frac{y_{Eu} - {\tilde{μ}}_{Eu}}{\sqrt{{\tilde{μ}}_{Eu} + \frac{{\tilde{μ}}^{' 2}}{θ}}}

$\frac{y_i-\tilde\mu_i}{\sqrt{\tilde\mu_i+\frac{\tilde\mu'^2}{\theta}}}$

$\tilde\mu$ $\theta$ $\hat\mu\neq\tilde\mu$ $i$ Com o padrão preditivo, eles se aproximavam e, em geral, a adição de um parâmetro deve se encaixar melhor em todas as observações, embora eu não saiba como demonstrar isso rigorosamente. Mesmo assim, as quantidades populacionais estimadas são maiores se o modelo de Poisson se mantiver, então não deve ser uma surpresa.]

— Scortchi - Restabelecer Monica
fonte

μ_{i}

$\mu_i$

@whuber Nesse caso, verifica-se que os valores ajustados para os dois modelos são quase idênticos. Afinal, o modelo "verdadeiro" realmente tem apenas uma interceptação e está basicamente modelando a média, já que não há relação entre x e Y na simulação.

— jsk

μ_{i}

$\mu_i$

μ_{i}

$\mu_i$

(y_{i} | λ, v_{i}, r) \sim P o i s s o n (λ v_{i})

$( y_i|\lambda, v_i, r)\sim Poisson (\lambda v_i)$

(v_{i} | λ, r) \sim G a m m a (r, r)

$(v_i|\lambda, r)\sim Gamma(r, r)$

(y_{i} | λ, r) \sim N B (r, \frac{λ}{r + λ})

$( y_i|\lambda, r)\sim NB (r,\frac {\lambda}{r+\lambda} )$

v_{i}

$v_i$

y_{i} > λ

$y_i>\lambda$

v_{i} > 1

$v_i> 1$