Cálculo da AIC “manualmente” em R

Eu tentei calcular o AIC de uma regressão linear em R, mas sem usar a AICfunção, assim:

lm_mtcars <- lm(mpg ~ drat, mtcars)

nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2)
[1] 97.98786

No entanto, AICfornece um valor diferente:

AIC(lm_mtcars)
[1] 190.7999

Alguém poderia me dizer o que estou fazendo de errado?

r aic information-theory

— luciano
fonte

(sem verificar sua resposta ainda): você não está necessariamente fazendo nada errado, pois a probabilidade é realmente definida apenas como uma constante multiplicativa; duas pessoas podem calcular a probabilidade de log e obter números diferentes (mas as diferenças na probabilidade de log são as mesmas).

— Glen_b -Reinstala Monica

A resposta de Hong Oois está relacionada a essa pergunta, eu acho. A fórmula que a função AICusa é -2*as.numeric(logLik(lm_mtcars))+2*(length(lm_mtcars$coefficients)+1).

— COOLSerdash

luciano: o "+1" nessa fórmula @COOLSerdash aponta para o termo do parâmetro de variação. Observe também que a função logLikdiz que, para lmmodelos, inclui 'todas as constantes' ... então haverá uma log(2*pi)em algum lugar

— Glen_b -Reinstate Monica

@Glen_b: Por que dizer que a probabilidade é definida apenas até uma constante multiplicativa? Afinal, ao comparar modelos não aninhados de diferentes famílias de distribuição (por exemplo, com AIC ou com o teste de Cox), você precisa se lembrar dessa constante.

— Scortchi - Restabelece Monica

@ Scortchi a definição não é minha! Você terá que lidar com o RAFisher. Acho que tem sido assim desde o início (1921). Ainda está definido dessa maneira, pelo menos no caso contínuo, veja aqui , por exemplo, a frase que começa com 'Mais precisamente'.

— Glen_b -Reinstala Monica

Respostas:

Observe que a ajuda na função logLikem R diz que, para os lmmodelos, inclui 'todas as constantes' ... então haverá uma log(2*pi)em algum lugar, além de outro termo constante para o expoente na probabilidade. Além disso, não se esqueça de contar o fato de que é um parâmetro. $\sigma^2$

$\cal L(\hat\mu,\hat\sigma)=(\frac{1}{\sqrt{2\pi s_n^2}})^n\exp({-\frac{1}{2}\sum_i (e_i^2/s_n^2)})$

$-2\log \cal{L} = n\log(2\pi)+n\log{s_n^2}+\sum_i (e_i^2/s_n^2)$

$= n[\log(2\pi)+\log{s_n^2}+1]$

$\text{AIC} = 2p -2\log \cal{L}$

mas observe que, para um modelo com 1 variável independente, p = 3 (o coeficiente x, a constante e ) $\sigma^2$

O que significa que é assim que você obtém a resposta:

nrow(mtcars)*(log(2*pi)+1+log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))
       +((length(lm_mtcars$coefficients)+1)*2)

— Glen_b -Reinstate Monica
fonte

Por que no seu cálculo de você está apenas dividindo por e não ?

s^{2}

$s^2$

n

$n$

n - p

$n-p$

— Luke Thorburn

Veja a definição de AIC: onde o vetor de parâmetros é avaliado no máximo (ou seja, todos os elementos de são MLEs); por exemplo, consulte Wikipedia Akaike critério de informação: Definição . Se você não está dividindo por lá no cálculo de , não está calculando o MLE de e, portanto, não está realmente computando o AIC - na verdade, estaria ajustando duas vezes para o efeito dos parâmetros de ajuste. (Sim, muitas pessoas fazem isso errado)

- 2 \log L (\hat{θ}) + 2 p

$-2\log\mathcal{L}(\hat\theta)+2p$

θ

$\theta$

\hat{θ}

$\hat\theta$

n

$n$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

σ^{2}

$\sigma^2$

— Glen_b -Reinstate Monica

Existe um erro de digitação na segunda equação? Deve ser Ok, entendo, você está usando

- 2 \log L = n \log (2 π) + n \log s_{n} + \sum_{i} (e_{i}^{2} / s_{n}^{2})

$-2\log \cal{L} = n\log(2\pi)+n\log{s_n}+\sum_i (e_i^2/s_n^2)$

\sqrt{2 π s_{n}^{2}}

$\sqrt{2\pi s^2_n}$

— rhody 26/09/19

A AICfunção fornece , onde é a probabilidade & é o número de parâmetros estimados (incluindo a interceptação e a variação). Você está usando , onde é a soma residual dos quadrados, e é o tamanho da amostra. Estas formulações diferem por uma constante aditiva; contanto que você use a mesma fórmula e observe as diferenças na AIC entre os diferentes modelos em que as constantes se cancelam, isso não importa. $2k -2 \log L$ $L$ $k$ $n \log \frac{S_{\mathrm{r}}}{n} + 2(k-1)$ $S_{\mathrm{r}}$ $n$

— Scortchi - Restabelecer Monica
fonte