Medida de "desvio" para Poisson inflado a zero ou binomial negativo inflado a zero?

O desvio escalado, definido como D = 2 * (probabilidade logarítmica do modelo saturado menos probabilidade logarítmica do modelo ajustado), é freqüentemente usado como uma medida de qualidade de ajuste nos modelos GLM. O desvio percentual explicado, definido como [D (modelo nulo) - D (modelo ajustado)] / D (modelo nulo), também é às vezes usado como o analógico GLM para o quadrado R da regressão linear. Além do fato de que as distribuições ZIP e ZINB não fazem parte da família exponencial de distribuições, estou tendo problemas para entender por que o desvio escalonado e o desvio percentual explicado não são usados na modelagem inflada a zero. Alguém pode esclarecer isso ou fornecer referências úteis? Desde já, obrigado!

goodness-of-fit zero-inflation deviance

— aleanjeo
fonte

pergunta muito boa - Eu gostaria de saber isso também

— user2673238

O desvio é um conceito GLM, os modelos ZIP e ZINB não são glms, mas são formulados como misturas finitas de distribuições que são GLMs e, portanto, podem ser facilmente resolvidas pelo algoritmo EM.

Essas notas descrevem a teoria do desvio de forma concisa. Se você ler essas notas, verá a prova de que o modelo saturado da regressão de Poisson tem probabilidade de log

ℓ (λ_{s}) = \sum_{i = 1, \forall y_{i} \neq 0}^{n} [y_{i} l o g (y_{i}) - y_{i} - l o g (y_{i}!)]

$\ell(\lambda_s)= \sum_{i=1, \forall y_i\neq 0}^n \left[ y_ilog(y_i)-y_i -log(y_i!)\right]$

que resulta das estimativas de plug-in . $y_i =\hat{\lambda}_i$

Vou prosseguir agora com a probabilidade do ZIP porque a matemática é mais simples, e resultados semelhantes são válidos para o ZINB. Infelizmente para o ZIP, não existe um relacionamento simples como no Poisson. A ésima probabilidade de log de observações é $i$

ℓ_{i} (ϕ, λ) = Z_{i} l o g (ϕ + (1 - ϕ) e^{- λ}) + (1 - Z_{i}) [- λ + y_{i} l o g (λ) - l o g (y_{i}!)] .

$\ell_i(\phi, \lambda)=Z_ilog(\phi+(1-\phi)e^{-\lambda})+ (1-Z_i)\left[-\lambda +y_ilog(\lambda) -log(y_i!)\right].$

o não é observado, portanto, para resolver isso, é necessário derivadas parciais em e , definir as equações para 0 e depois resolver para e . A dificuldade aqui são os valores , eles podem entrar em um ou em um e não é possível sem observar qual colocar as observações . No entanto, se soubéssemos o valor , não precisaríamos de um modelo ZIP, porque não teríamos dados ausentes. Os dados observados correspondem à probabilidade de "dados completos" no formalismo EM. $Z_i$ $\lambda$ $\phi$ $\lambda$ $\phi$ $y_i=0$ $\hat{\lambda}$ $\hat{\phi}$ $Z_i$ $y_i=0$ $Z_i$

Uma abordagem que pode ser razoável é trabalhar com a expectativa em da probabilidade completa do log de dados, que remove o e substitui por uma expectativa. parte do que o algoritmo EM calcula (a etapa E) com as atualizações mais recentes. Não conheço nenhuma literatura que tenha estudado essa abordagem do desvio . $Z_i$ $\mathbb{E}(\ell_i(\phi, \lambda))$ $Z_i$ $expected$

Além disso, essa pergunta foi feita primeiro, então eu respondi a esta postagem. No entanto, há outra pergunta sobre o mesmo tópico com um bom comentário de Gordon Smyth aqui: desvio para o modelo de poisson composto inflado a zero, dados contínuos (R) onde ele mencionou a mesma resposta (esta é uma elaboração desse comentário que eu gostaria digamos) mais eles mencionaram nos comentários para o outro post um artigo que você pode querer ler. (aviso de isenção, não li o artigo mencionado)

— Lucas Roberts
fonte