Definições diferentes da AIC

12

Na Wikipedia, existe uma definição do Critério de Informação de Akaike (AIC) como $AIC = 2k -2 \log L$ , onde $k$ é o número de parâmetros e $\log L$ é a probabilidade de log do modelo.

No entanto, os nossos notas Econometria na universidade um estado bem respeitado que $AIC = \log (\hat{\sigma}^2) + \frac{2 \cdot k}{T}$ . Aquié a variância estimada para os erros em um modelo ARMA eé o número de observações no conjunto de dados de séries temporais. $\hat{\sigma}^2$ $T$

A última definição é equivalente à primeira, mas simplesmente ajustada para os modelos ARMA? Ou existe algum tipo de conflito entre as duas definições?

— pir
fonte

3

Para o registro: critério singular, critério plural. (Editado de acordo.) #

— 214 Nick Cox

15

A fórmula que você cita em suas anotações não é exatamente a AIC.

AIC é . $-2\log\mathcal{L}+2k$

Aqui darei um esboço de uma derivação aproximada que deixa claro o que está acontecendo.

Se você possui um modelo com erros normais independentes com variação constante,

L \propto σ^{- n} e^{- \frac{1}{2 σ^{2}} \sum ε_{i}^{2}}

$\mathcal{L}\propto \sigma^{-n} \: e^{-\frac{1}{2\sigma^2}\sum \varepsilon_i^2}$

que pode ser estimado com a máxima probabilidade de

\begin{array}{rcl} \propto & ({\hat{σ}}^{2})^{- n / 2} e^{- \frac{1}{2} n {\hat{σ}}^{2} / {\hat{σ}}^{2}} \\ \propto & ({\hat{σ}}^{2})^{- n / 2} e^{- \frac{1}{2} n} \\ \propto & ({\hat{σ}}^{2})^{- n / 2} \end{array}

$\begin{eqnarray} & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n\hat{\sigma}^2/\hat{\sigma}^2}\\ & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n}\\ & \propto &(\hat{\sigma}^2)^{-n/2} \end{eqnarray}$

(supondo que a estimativa de seja a estimativa de ML) $\sigma^2$

Então (-se ao deslocamento por uma constante) $-2\log\mathcal{L} +2k = n\log{\hat{\sigma}^2} + 2k$

Agora no modelo ARMA, se é realmente grande em comparação com e , então a probabilidade pode ser aproximada por um tal quadro Gaussian (por exemplo, você pode escrever o ARMA aproximadamente como um AR mais tempo e condição em termos suficiente para escrever que AR como modelo de regressão), então com no lugar de : $T$ $p$ $q$ $T$ $n$

$AIC \approx T\log{\hat{\sigma}^2} + 2k$

conseqüentemente

$AIC/T \approx \log{\hat{\sigma}^2} + 2k/T$

Agora, se você está simplesmente comparando AICs, essa divisão por não importa, pois não altera a ordem dos valores da AIC. $T$

No entanto, se você estiver usando o AIC para algum outro objetivo que dependa do valor real das diferenças no AIC (como fazer inferência multimodal conforme descrito por Burnham e Anderson), isso importa.

Numerosos textos econométricos parecem usar esse formulário AIC / T. Estranhamente, alguns livros parecem referenciar Hurvich e Tsai 1989 ou Findley 1985 para essa forma, mas Hurvich & Tsai e Findley parecem estar discutindo a forma original (embora eu tenha apenas uma indicação indireta do que Findley faz agora, talvez exista algo em Findley).

Tal escala pode ser feito por uma variedade de razões - por exemplo, séries temporais, especialmente séries temporais de alta frequência, pode ser muito longo e AICs comuns podem ter uma tendência a se tornar inviável, especialmente se é muito pequena. (Existem outros motivos possíveis, mas como eu realmente não sei o motivo disso, não começarei a listar todos os motivos possíveis.) $\sigma^2$

Você pode gostar de ver a lista de fatos e falácias da AIC de Rob Hyndman - particularmente os itens 3 a 7. Alguns desses pontos podem levar você a ter pelo menos um pouco de cautela ao confiar demais na aproximação da probabilidade gaussiana, mas talvez haja uma justificativa melhor do que eu ofereço aqui.

Não tenho certeza de que haja uma boa razão para usar essa aproximação à probabilidade de log em vez da AIC real, pois muitos pacotes de séries temporais hoje em dia tendem a calcular (/ maximizar) a probabilidade de log real para os modelos ARMA. Parece haver poucas razões para não usá-lo.

— Glen_b -Reinstate Monica
fonte

1

Mais cedo ou mais tarde, toda discussão sobre qualquer * IC se transforma em "Este é o critério que você deve usar, exceto que muitas vezes fornece a resposta errada em tais e tais circunstâncias". Ser irônico, não criticar uma resposta tipicamente útil. É como a vida real, onde algumas máximas genéricas, como "amar a todos", geralmente são substituídas temporariamente por outros conselhos, se alguém está tentando bater em você ou enganá-lo.

— Nick Cox

1

@ Nick Não estou incomodado com os textos que usam AIC /

vez de AIC, mas o que me preocupa é que muitos dos livros de econometria que eu olhei apenas o chamam de "AIC" sem nenhum comentário . Para mim, isso é irresponsável. Quem foi o primeiro a fazê-lo, mas não o disse, foi copiado repetidamente.

n

$n$

— Glen_b -Reinstala Monica

2

Eu acredito que isso se baseia na suposição de erros normais. Em econometria, você opera usando assintóticos, especialmente nas aplicações de séries temporais usando AIC. Como conseqüência, a suposição normal deve ser mantida assintoticamente para justificar esse esquema de seleção de modelo (assintótico).

$ln(L) = -(T/2)ln(2\pi) -(T/2)ln(\sigma^2) - (1/2\sigma^2)\sum(x_i - \mu)$ $\mathbb{E}(X) = \mu$ $Var(X) = \sigma^2$ $x_1, ..., x_T$

$L$ $Tln(\sigma^2)$ $(1/\sigma^2)(T\hat{\sigma}^2)$ $\hat{\sigma}^2 = T^{-1} \sum(x_i - \bar{x})$ $\sigma^2$ $(1/\sigma^2)(T\hat{\sigma}^2) = (1/\hat{\sigma}^2)(T\hat{\sigma}^2)$ = T.

In summary, this means we get for the normal likelihood that $AIC = 2k + Tln(\sigma^2) + 1$ . Needless to say, the minimization is not affected by ignoring the constant $1$ . The term is now simply divided by $T$ , since it does not change the minimization problem to scale all additive components by $T$ . This lands you at the second result, because $AIC$ and $AIC/T$ are identical for the purpose of minimization.

— Jeremias K
fonte