Explicação de uma frase da AIC para tipos não técnicos

Preciso de uma explicação de uma frase sobre o uso da AIC na construção de modelos. Até agora, eu disse "Simplificando, a AIC é uma medida relativa da quantidade de variação observada contabilizada por diferentes modelos e permite a correção da complexidade do modelo".

Qualquer conselho muito apreciado.

R

AIC é um número útil para comparar modelos, pois inclui medidas de quão bem o modelo se ajusta aos dados e de quão complexo é o modelo.

Qual seria a melhor explicação depende do que exatamente se entende por "tipos não técnicos". Gosto das declarações que foram oferecidas até agora, mas tenho uma queixa: elas tendem a usar o termo "complexo", e o que exatamente isso significa entender pode variar. Deixe-me oferecer esta variação:

A AIC é uma medida de quão bem um modelo se ajusta a um conjunto de dados, enquanto ajusta a capacidade desse modelo de se ajustar a qualquer conjunto de dados, independentemente de estar ou não relacionado.

Aqui está uma definição que localiza a AIC no zoológico de técnicas usadas para a seleção de modelos. A AIC é apenas uma das várias maneiras razoáveis ​​de capturar a troca entre qualidade de ajuste (que é aprimorada adicionando complexidade do modelo na forma de variáveis ​​explicativas extras ou acrescentando advertências como "mas apenas na quinta-feira, quando chove") e parcimônia (mais simples == melhor) na comparação de modelos não aninhados. Aqui está a cópia fina:

1. Acredito que a definição do OP se aplique apenas a modelos lineares. Para coisas como probits, a AIC geralmente é definida em termos de probabilidade de log.
2. Alguns outros critérios são ajustados $R^{2}$(que tem o menor ajuste para variáveis ​​explicativas adicionais), Kullback-Leibler IC, BIC / SC e outras ainda mais exóticas, como o critério de previsão de Amemiya, raramente visto nas selvas do trabalho aplicado. Esses critérios diferem quanto à penalização acentuada da complexidade do modelo. Alguns argumentaram que a AIC tende a selecionar modelos que são super-parametrizados, porque a penalidade no tamanho do modelo é bastante baixa. O BIC / SC também aumenta a penalidade à medida que o tamanho da amostra aumenta, o que parece ser um recurso prático.
3. Uma boa maneira de evitar participar do Critério de Informações Principais da América é admitir que esses critérios são arbitrários e que há considerações aproximadas para derivá-los, especialmente no caso não linear. Na prática, a escolha de um modelo de um conjunto de modelos provavelmente deve depender do uso pretendido desse modelo. Se o objetivo é explicar as principais características de um problema complexo, a parcimônia deve valer seu peso em ouro. Se previsão é o nome do jogo, a parcimônia deve ser menos cara. Alguns até acrescentariam que o conhecimento da teoria / domínio também deveria ter um papel maior. De qualquer forma, o que você planeja fazer com o modelo deve determinar qual critério você pode usar.
4. Para modelos aninhados , o teste de hipótese padrão que restringe os parâmetros a zero deve ser suficiente.

E se:

A AIC ajuda a encontrar o modelo mais adequado que utiliza o menor número de variáveis.

Se isso for muito longe na direção não técnica, deixe-me saber nos comentários e eu vou apresentar outro.

AIC é uma medida de quão bem os dados são explicados pelo modelo corrigido pela complexidade do modelo.

O outro lado da excelente resposta da @ gung:

O AIC é um número que mede o quão bem um modelo se ajusta a um conjunto de dados, em uma escala móvel que exige que modelos mais elaborados sejam significativamente mais precisos para obter uma classificação mais alta.

EDITAR:

O AIC é um número que mede o quão bem um modelo se ajusta a um conjunto de dados, em uma escala móvel que requer modelos significativamente mais elaborados ou flexíveis para serem significativamente mais precisos.

Seja k o número de parâmetros de um modelo e MaxL seja o valor da função de probabilidade no máximo. Em seguida, o Critério de informação de Akaike é definido como$AIC=2k-2\ln\left(MaxL\right)$. O objetivo é encontrar um modelo que minimize a AIC.

Dada essa definição, a AIC é um critério usado para escolher o modelo que produz o melhor compromisso entre a escarsidade no número de parâmetros e a probabilidade máxima para a estimativa desses parâmetros.