Estou usando o AIC (critério de informações de Akaike) para comparar modelos não lineares em R. É válido comparar os AICs de diferentes tipos de modelo? Especificamente, estou comparando um modelo ajustado pelo glm versus um modelo com um termo de efeito aleatório ajustado pelo glmer (lme4).
Caso contrário, existe uma maneira de fazer essa comparação? Ou a ideia é completamente inválida?
Respostas:
Depende. AIC é uma função da probabilidade do log. Se os dois tipos de modelo computarem a probabilidade do log da mesma maneira (por exemplo, incluir a mesma constante), sim, será possível, se os modelos estiverem aninhados .
Estou razoavelmente certo disso glm()e lmer()não utilizo probabilidades de log comparáveis.
O ponto sobre modelos aninhados também está em discussão. Alguns dizem que o AIC é válido apenas para modelos aninhados, pois é assim que a teoria é apresentada / trabalhada. Outros o usam para todos os tipos de comparações.
Essa é uma ótima pergunta sobre a qual tenho curiosidade há um tempo.
Para modelos da mesma família (ou seja, modelos auto-regressivos de ordem k ou polinômios), o AIC / BIC faz muito sentido. Em outros casos, é menos claro. Calcular exatamente a probabilidade de log (com termos constantes) deve funcionar, mas usar uma comparação de modelos mais complicada, como os fatores de Bayes, é provavelmente melhor (http://www.jstor.org/stable/2291091).
Se os modelos tiverem a mesma função de perda / erro, uma alternativa é apenas comparar as probabilidades de log validadas cruzadamente. Isso é geralmente o que tento fazer quando não tenho certeza de que o AIC / BIC faça sentido em uma determinada situação.
Observe que, em alguns casos, a AIC não pode sequer comparar modelos do mesmo tipo, como os modelos ARIMA com uma ordem diferente de diferenciação. Citando previsão: princípios e práticas de Rob J Hyndman e George Athanasopoulos: