Como comparar modelos com base na AIC?

Temos dois modelos que usam o mesmo método para calcular a probabilidade do log e o AIC para um é menor que o outro. No entanto, aquele com a AIC mais baixa é muito mais difícil de interpretar.

Estamos com problemas para decidir se vale a pena introduzir a dificuldade e julgamos isso usando uma diferença percentual na AIC. Descobrimos que a diferença entre os dois AICs era de apenas 0,7%, com o modelo mais complicado tendo um AIC 0,7% menor.

1. A baixa diferença percentual entre os dois é um bom motivo para evitar o uso do modelo com a AIC mais baixa?

2. O percentual de diferença explica que 0,7% mais informações são perdidas no modelo menos complicado?

3. Os dois modelos podem ter resultados muito diferentes?

Não se comparar os valores absolutos de dois AICs (que pode ser como , mas também ~ 1000000 ), mas considera a sua diferença : Δ i = A I C i - A I C m i n , em que A I C i é a AIC do i- ésimo modelo, e A I C m i n é a AIC mais baixa que se obtém entre o conjunto de modelos examinados (isto é, o modelo preferido). A regra geral, descrita, por exemplo, em$\sim 100$$\sim 1000000$

1. se , existe um apoio substancial ao i- ésimo modelo (ou a evidência contra ele vale apenas uma simples menção), e a proposição de que é uma descrição adequada é altamente provável;$\Delta_i<2$$i$
2. se , existe um forte suporte para o i- ésimo modelo;$2<\Delta_i<4$$i$
3. se , há consideravelmente menos suporte para o i- ésimo modelo;$4<\Delta_i<7$$i$
4. modelos com têm essencialmente nenhum apoio.$\Delta_i>10$

Agora, com relação aos 0,7% mencionados na questão, considere duas situações:

1. e A I C 2 é maior em 0,7%: A I C 2 = 100,7 . Então Δ 2 = 0,7 < 2, portanto não há diferença substancial entre os modelos.$AIC_1=AIC_{\rm min}=100$$AIC_2$$AIC_2=100.7$$\Delta_2=0.7<2$
2. e A I C 2 é maior em 0,7%: A I C 2 = 100700 . Então Δ 2 = 700 ≫ 10, portanto não há suporte para o 2º modelo.$AIC_1=AIC_{\rm min}=100000$$AIC_2$$AIC_2=100700$$\Delta_2=700\gg 10$

Portanto, dizer que a diferença entre AICs é 0,7% não fornece nenhuma informação.

O valor AIC contém constantes de escala provenientes da probabilidade logarítmica e, portanto, Δ i estão livres dessas constantes. Pode-se considerar Δ i = A I C i - A I C m i n uma transformação rescaling que as forças o melhor modelo ter A I C m i n : = 0 .$\mathcal{L}$$\Delta_i$$\Delta_i = AIC_i − AIC_{\rm min}$$AIC_{\rm min} := 0$

A formulação da AIC penaliza o uso de um número excessivo de parâmetros, desencorajando o excesso de ajustes. Prefere modelos com menos parâmetros, desde que os outros não ofereçam um ajuste substancialmente melhor. A AIC tenta selecionar um modelo (entre os examinados) que descreva adequadamente a realidade (na forma dos dados sob exame). Isso significa que, de fato, o modelo sendo uma descrição real dos dados nunca é considerado. Observe que o AIC fornece as informações sobre qual modelo descreve melhor os dados, mas não fornece nenhuma interpretação .

Pessoalmente , eu diria que, se você tem um modelo simples e um complicado, com uma AIC muito menor, o modelo simples não é bom o suficiente. Se o modelo mais complexo é realmente muito mais complicado, mas o não é enorme (talvez Δ i < 2 , talvez Δ i < 5 - depende da situação específica), eu me ateria ao modelo mais simples se for realmente mais fácil trabalhar com ele. .$\Delta_i$$\Delta_i<2$$\Delta_i<5$

Além disso, você pode atribuir uma probabilidade ao ésimo modelo via$i$

$AIC_{\rm min}$$i$$\Delta_i=1.5$$p_i=0.47$$\Delta_i=15$$p_i=0.0005$$i$$AIC_{\rm min}$

Finalmente, em relação à fórmula da AIC:

$\mathcal{L}$$\Delta_i$$2k$$\frac{\Delta_i}{2\Delta k} < 1$

TL; DR

1. É uma má razão; use a diferença entre os valores absolutos dos AICs.
2. A porcentagem não diz nada.
3. Não é possível responder a essa pergunta devido a nenhuma informação sobre os modelos, dados e o que significam diferentes resultados .