O que quebra a comparabilidade dos modelos em relação à AIC?

Supondo que eu tenha ajustado alguns modelos usando preditores (e a variável de resposta) do mesmo conjunto de dados.

Que mudanças no modelo tornarão irracional comparar os modelos com base na AIC?

1) Supondo que, se eu logar transformar a variável dependente, é justo compará-la com um modelo em que não houve transformação?

2) Se eu fosse remover preditores do modelo, poderia compará-lo com os modelos com todos os preditores adicionados a ele?

3) Se eu encaixar dois glms com famílias diferentes para os dois, ainda posso compará-los com base na AIC? E as diferentes funções de link?

Obrigdo por sua contribuição.

aic

— Ali Turab Lotia
fonte

Parece que você omitiu uma palavra em "Se eu caber dois MLG com diferentes [algo]"

— Juho Kokkala

Se você tem dois modelos e para uma amostra , então, contanto que os modelos são sensíveis, você pode empregar AIC para compará-los. Obviamente, isso não significa que a AIC selecionará o modelo mais próximo da verdade, entre os concorrentes, já que a AIC é baseada em resultados assintóticos. Em um cenário extremo, suponha que você queira comparar dois modelos, um com 1 único parâmetro e outro com 100 parâmetros, e o tamanho da amostra é $M_1$ $M_2$ $(y_1,\dots,y_n)$ $101$ . Espera-se, então, observar uma precisão muito baixa na estimativa do modelo com 100 parâmetros, enquanto no modelo com 1 parâmetro é provável que o parâmetro seja estimado com precisão. Esse é um dos argumentos contra o uso da AIC para comparar modelos para os quais os estimadores de probabilidade têm taxas de convergência muito diferentes. Isso pode acontecer mesmo em modelos com o mesmo número de parâmetros.

Sim, você pode usar o AIC para comparar dois modelos em que você transformou a variável de resposta em um deles , desde que o modelo ainda faça sentido . No entanto, esse nem sempre é o caso. Se você tem um modelo linear

y_{i} = x_{i}^{T} β + e_{i},

$y_i = x_i^T\beta + e_i,$ onde , isso implica que a variável pode assumir qualquer valor real. Consequentemente, uma transformação de log não faz sentido do ponto de vista teórico, mesmo que a amostra contenha apenas valores positivos.

e_{i} \sim N (0, σ)

$e_i\sim N(0,\sigma)$

y_{i}

$y_i$

Isso é conhecido como seleção de variável AIC gradual. Já implementado no comando R stepAIC().
Novamente, desde que faça sentido modelar os dados com esse tipo de modelo.

Algumas discussões interessantes sobre o uso da AIC podem ser encontradas aqui:

MITOS DA AIC E ENTENDIDAS

— Pokemon
fonte