Interpretação de desvio residual e nulo no GLM R


47

Como interpretar o desvio nulo e residual no GLM em R? Como, dizemos que AIC menor é melhor. Existe alguma interpretação semelhante e rápida para os desvios também?

Desvio nulo: 1146,1 em 1077 graus de liberdade Desvio residual: 4589,4 em 1099 graus de liberdade AIC: 11089

Respostas:


74

Deixe LL = loglikelihood

Aqui está um resumo rápido do que você vê na saída de resumo (glm.fit),

Desvio nulo = 2 (LL (modelo saturado) - LL (modelo nulo)) em df = df_Sat - df_Null

Desvio residual = 2 (LL (modelo saturado) - LL (modelo proposto)) df = df_Sat - df_Proposed

O Modelo Saturado é um modelo que assume que cada ponto de dados possui seus próprios parâmetros (o que significa que você tem n parâmetros para estimar).

O Modelo Nulo assume exatamente o "oposto", ou seja, assume um parâmetro para todos os pontos de dados, o que significa que você estima apenas 1 parâmetro.

O Modelo proposto pressupõe que você possa explicar seus pontos de dados com parâmetros p + um termo de interceptação, para que você tenha parâmetros p + 1.

Se o seu desvio nulo é realmente pequeno, significa que o modelo nulo explica muito bem os dados. Da mesma forma com o seu desvio residual .

O que significa realmente pequeno? Se o seu modelo for "bom", seu desvio será de aproximadamente Chi ^ 2 com graus de liberdade (df_sat - df_model).

Se você quiser comparar seu modelo nulo com o modelo proposto, poderá ver

(Desvio nulo - desvio residual) aproximado Chi ^ 2 com df Proposta - df Nulo = (n- (p + 1)) - (n-1) = p

Os resultados que você forneceu diretamente do R? Eles parecem um pouco estranhos, porque geralmente você deve ver que os graus de liberdade relatados no Nulo são sempre maiores que os graus de liberdade relatados no Residual. Isso ocorre porque, novamente, Desvio nulo df = df saturado - Nulo df = n-1 Desvio residual df = df saturado - Proposta df = n- (p + 1)


Sim, esse é um artigo muito útil @TeresaStat, obrigado. Quão robusto é isso? As definições mudam se você estiver falando de um modelo multinomial em vez de um GLM?
Hack-R

@Teresa: Sim, esses resultados são da R. Por que isso aconteceria? Algum problema com o modelo aqui?
Anjali

@ Hack-R: desculpe por uma resposta tão tardia, sou novo no Stackexchange. Para modelos multinomiais, você não usa a função glm em R e a saída é diferente. Você precisará observar um modelo de chances proporcionais ou regressão ordinal, a função mlogit. Vale a pena ler um pouco sobre glms multinomiais, eles têm suposições diferentes. Se eu conseguir fazer isso durante o intervalo, atualizarei isso com mais algumas informações.
TeresaStat

@Anjali, não sei ao certo por que você obteria resultados assim em R. É difícil saber sem ver seus dados / resultados. Em geral, não vejo por que os graus de liberdade residuais seriam maiores que o df nulo. Quantos parâmetros você estava estimando?
TeresaStat

1
@ user4050 O objetivo da modelagem em geral pode ser visto como usar o menor número de parâmetros para explicar o máximo sobre sua resposta. Para descobrir quantos parâmetros usar, é necessário considerar o benefício de adicionar mais um parâmetro. Se um parâmetro extra explica muito (produz alto desvio) do seu modelo menor, você precisa do parâmetro extra. Para quantificar o quanto é necessário, você precisa de teoria estatística. A teoria nos diz que o desvio é chi ao quadrado com graus de liberdade iguais à diferença de parâmetros entre seus dois modelos. Está mais claro?
precisa saber é o seguinte

13

O desvio nulo mostra quão bem a resposta é prevista pelo modelo com nada além de um intercepto.

O desvio residual mostra quão bem a resposta é prevista pelo modelo quando os preditores são incluídos. A partir do seu exemplo, pode-se observar que o desvio aumenta 3443.3 quando são adicionadas 22 variáveis ​​preditivas (nota: graus de liberdade = número de observações - número de preditores). Esse aumento no desvio é uma evidência de uma falta significativa de ajuste.

Também podemos usar o desvio residual para testar se a hipótese nula é verdadeira (ou seja, o modelo de regressão logística fornece um ajuste adequado para os dados). Isso é possível porque o desvio é dado pelo valor do qui-quadrado em certos graus de liberdade. Para testar a significância, podemos descobrir valores p associados usando a fórmula abaixo em R:

p-value = 1 - pchisq(deviance, degrees of freedom)

Usando os valores acima de desvio residual e DF, você obtém um valor p de aproximadamente zero, mostrando que há uma falta significativa de evidência para apoiar a hipótese nula.

> 1 - pchisq(4589.4, 1099)
[1] 0

2
Como você sabe qual é o corte para um ajuste bom / ruim, com base no desvio e no número de variáveis ​​preditivas (sem o pchisq)? É apenas se Desvio Residual> Desvio NULL ou existe algum intervalo / proporção?
Hack-R

3
Sua resposta não está errada, mas está sujeita a mal-entendidos. De fato, foi mal compreendido (cf aqui ). À luz disso, você pode esclarecer as diferenças implícitas no seu código?
gung - Restabelece Monica
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.