Significado de 'número de parâmetros' em AIC

21

Ao calcular o AIC,

$AIC = 2k - 2 ln L$

k significa 'número de parâmetros'. Mas o que conta como parâmetro? Então, por exemplo, no modelo

$y = ax + b$

A e b são sempre contados como parâmetros? E se eu não me importo com o valor da interceptação, posso ignorá-lo ou ainda conta?

E se

$y = a f(c,x) + b$

onde é uma função de c e x, agora conto 3 parâmetros? $f$

aic

— Sideshow Bob
fonte

9

Essa é uma boa pergunta, porque há uma sutileza: é o número de parâmetros identificáveis a serem estimados. Por exemplo, embora no modelo de regressão cinco parâmetros sejam escritos, no entanto . (Este modelo é equivalente a com e , que precisa explicitamente de apenas quatro parâmetros .)

k

$k$

Y \sim N (β_{0} + β_{1} X_{1} + β_{2} X_{2} + β_{3} (X_{1} + X_{2}), σ^{2})

$Y\sim\mathcal{N}(\beta_0+\beta_1X_1+\beta_2X_2+\beta_3(X_1+X_2), \sigma^2)$

k = 4

$k=4$

Y \sim N (β_{0} + α_{1} X_{1} + α_{2} X_{2}, σ^{2})

$Y\sim\mathcal{N}(\beta_0+\alpha_1X_1+\alpha_2X_2, \sigma^2)$

α_{1} = β_{1} + β_{3}

$\alpha_1=\beta_1+\beta_3$

α_{2} = β_{2} + β_{3}

$\alpha_2=\beta_2+\beta_3$

— whuber

3

Estritamente, você conta todos os parâmetros livres e identificáveis - parâmetros médios, parâmetros de forma e escala, o que quer que seja (e isso importa para o AIC ), mas para o AIC não tem importância se você omitir parâmetros comuns aos modelos que estão sendo comparados. Por exemplo, em regressão, você deve contar o parâmetro de variação. Portanto, pela minha contagem, todas as suas contagens de parâmetros na sua pergunta são uma curta - mas se houver exatamente uma em todos os modelos, não custa nada abandoná-la na AIC. R conta explicitamente o parâmetro de variação ao calcular o AIC em modelos de regressão.

_{C}

$_C$

— Glen_b -Reinstar Monica

@whuber Por que este excelente comentário não foi postado como resposta? :)

— Alexis

Obrigado, @Alexis. Postei esse pensamento como um comentário, porque a idéia está adequadamente coberta na resposta de P Schnell: eu queria apenas enfatizá-lo um pouco mais.

— whuber

17

Como Mugen mencionado, representa o número de parâmetros estimados . Em outras palavras, é o número de quantidades adicionais que você precisa conhecer para especificar completamente o modelo. No modelo de regressão linear simples é possível estimar , ou ambos. Quaisquer quantidades que você não estimar, devem ser corrigidas. Não há "ignorando" um parâmetro no sentido de que você não o conhece e não se importa com isso. O modelo mais comum que não estima e é o modelo sem interceptação, onde fixamos . Isso terá 1 parâmetro. Você poderia facilmente corrigir ou $k$

y = a x + b

$y=ax+b$

a

$a$

b

$b$

a

$a$

b

$b$

b = 0

$b=0$

a = 2

$a=2$

b = 1

$b=1$ se você tem algum motivo para acreditar que isso reflete a realidade. (Ponto fino: também é um parâmetro em uma regressão linear simples, mas como está presente em todos os modelos, você pode descartá-lo sem afetar as comparações da AIC.)

σ

$\sigma$

Se o seu modelo é o número de parâmetros depende se você corrige algum desses valores e na forma de . Por exemplo, se queremos estimar e sabemos que , quando escrevemos o modelo, temos com três parâmetros desconhecidos. Se, no entanto, , temos o modelo que realmente possui apenas dois parâmetros: e .

y = uma f (c, x) + b

$y=af(c,x)+b$

f

$f$

a, b, c

$a, b, c$

f (c, x) = x^{c}

$f(c,x)=x^c$

y = uma x^{c} + b

$y=ax^c+b$

f (c, x) = c x

$f(c,x)=cx$

y = uma c x + b

$y=acx+b$

a c

$ac$

b

$b$

É crucial que seja uma família de funções indexadas por . Se tudo que você sabe é que é contínuo e depende de e , então você está sem sorte, porque existem inúmeras funções contínuas. $f(c,x)$ $c$ $f(c,x)$ $c$ $x$

— P Schnell
fonte

2

(+1) Talvez valha a pena mencionar que ao longo de "estimativa" significa "estimativa por probabilidade máxima".

— Scortchi - Reinstate Monica

Isso realmente importa? De fato, meu é uma simulação enorme, impossível de separar analiticamente e levar horas para calcular. Eu o tento com cerca de 20 valores diferentes de porque é tudo o que temos tempo e continuo com o valor de que fornece o melhor no final do dia. Portanto, de certa maneira, estimei melhor maneira possível, embora não como você faria em uma regressão. Certamente ainda conta como um parâmetro para a AIC?

f (c, x)

$f(c,x)$

c

$c$

c

$c$

r^{2}

$r^2$

c

$c$

— Sideshow Bob

2

@SideshowBob: Sim - quando você compara dois modelos, a diferença nas probabilidades maximizadas de log é um estimador tendencioso da diferença na perda esperada de informações de Kullback-Leibler e o termo de penalidade no AIC corrige aproximadamente esse viés.

— Scortchi - Restabelece Monica

1

@SideshowBob: Devo mencionar que há modificações da AIC para equações de estimativa generalizadas e similares - elas usam quase-probabilidade máxima maximizada e um termo de penalidade bastante mais complexo.

— Scortchi - Restabelecer Monica

4

Para qualquer modelo estatístico, o valor do AIC é que k é o número de parâmetros no modelo e L é o valor maximizado da função de verossimilhança para o modelo. $\mathit{AIC} = 2k - 2\ln(L)$

(veja aqui )

Como você pode ver, representa o número de parâmetros estimados em cada modelo. Se o modelo incluir uma interceptação (ou seja, se você calcular uma estimativa pontual, variação e intervalo de confiança para a interceptação), ela será contabilizada como parâmetro. Por outro lado, se você estiver computando um modelo sem interceptação, ele não conta. $k$

Lembre-se de que a AIC não apenas resume a qualidade do ajuste, mas também considera a complexidade do modelo. É por isso que existe, para penalizar modelos com mais parâmetros. $k$

Não me sinto suficientemente informado para responder à sua segunda pergunta, deixarei para outro membro da comunidade.

— mugen
fonte

1

Isso significa que se eu Box-Cox transformar x e y, então de cada uma dessas transformações também conta como parâmetro?

λ

$\lambda$

— Sideshow Bob

1

Sim certamente.

— PA6OTA 16/06

1

Primeiro, para aqueles que podem não estar familiarizados com a AIC: o Akaike Information Criterion (AIC) é uma métrica simples projetada para comparar a "bondade" dos modelos.

Segundo a AIC, ao tentar escolher entre dois modelos diferentes que se aplicam às mesmas variáveis de entrada e resposta , ou seja, modelos projetados para resolver o mesmo problema, o modelo com a AIC mais baixa é considerado "melhor".

$k$

c $f(c, x)$ $k$

— arielf
fonte