Existe uma estatística de ajuste do modelo (como AIC ou BIC) que pode ser usada para comparações absolutas em vez de apenas relativas?

Eu não estou tão familiarizado com esta literatura, então, por favor, perdoe-me se essa é uma pergunta óbvia.

Como o AIC e o BIC dependem da maximização da probabilidade, parece que eles só podem ser usados para fazer comparações relativas entre um conjunto de modelos que tentam ajustar um determinado conjunto de dados. De acordo com meu entendimento, não faria sentido calcular o AIC para o Modelo A no conjunto de dados 1, calcular o AIC para o Modelo B no conjunto de dados 2 e comparar os dois valores do AIC e julgar que (por exemplo) O modelo A se encaixa no conjunto de dados 1 melhor do que o modelo B se encaixa no conjunto de dados 2. Ou talvez eu esteja enganado e isso é uma coisa razoável a se fazer. Por favor deixe-me saber.

Minha pergunta é a seguinte: existe uma estatística de ajuste de modelo que pode ser usada para comparações absolutas em vez de apenas relativas? Para modelos lineares, algo como funcionaria; possui um alcance definido e disciplina idéias específicas sobre o que é um valor "bom". Estou procurando algo mais geral e achei que poderia começar fazendo ping nos especialistas aqui. Tenho certeza de que alguém já pensou nesse tipo de coisa antes, mas não conheço os termos certos para fazer uma pesquisa produtiva no Google Scholar. $R^2$

Qualquer ajuda seria apreciada.

model-selection aic bic

— Nathan VanHoudnos
fonte

Se o modelo A se encaixa no conjunto de dados 1 e o modelo B se encaixa no conjunto de dados 2, não há nada para comparar: os modelos e os dados são totalmente diferentes. Então, o que exatamente você está tentando realizar? Aliás, é pior que inútil a esse respeito; para algumas críticas, consulte stats.stackexchange.com/questions/13314/…

R^{2}

$R^2$

— whuber

O que você quer dizer com algo 'mais geral', você pode dar um exemplo para os outros tipos de modelos para os quais deseja expandir? Alguns modelos serão fáceis de se adaptar a uma abordagem , por exemplo, ajustes inferiores, mas outros serão bastante difíceis, por exemplo, ajustes de dados binomiais.

R^{2}

$R^2$

— 22711 russellpierce

@ whuber Uau, essa é uma resposta incrível para a pergunta ! Mas, à parte suas inadequações, é usado para dizer que o modelo deles é "bom" em um sentido "absoluto" (por exemplo, "Meu é tal e qual é melhor do que o que normalmente se vê ..." "). Estou procurando uma estatística mais justificada (e geral) do que para atingir o mesmo objetivo (por exemplo, "Meu MagicStatistic é tal e qual é o que é melhor ...). Meu primeiro pensamento ingênuo foi fazer algo como normalizando a k vezes pontuação validação cruzada, mas não parece que alguém tenha feito uma coisa dessas (por isso é provavelmente não é uma boa idéia).

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— Nathan VanHoudnos

@ Nathan Eu não quero parecer que estou falando sério ou obcecado com isso - não estou - mas me ocorre que as pessoas que usam para afirmar que seu modelo é bom em absoluto O senso comum pode estar ... equivocado. Uma lição de é que uma estatística de ajuste de modelo é interpretável apenas no contexto do conjunto de dados. Quando dois conjuntos de dados potencialmente não têm nada em comum, o que realmente significaria comparar duas dessas estatísticas? Portanto, para começar a responder à sua pergunta, precisamos fazer suposições sobre como os dois conjuntos de dados podem estar relacionados. Alguma sugestão?

R^{2}

$R^2$

R^{2}

$R^2$

— whuber

A única coisa que eu poderia imaginar no campo do que você está falando seria medir a precisão da previsão. A qualidade de dois modelos em dois conjuntos de dados diferentes poderia potencialmente ser comparada pela qual se prevê melhor, embora isso também não seja perfeito.

— Macro

De acordo com o que a Macro sugeriu, acho que o termo que você procura é uma medida de desempenho. Embora não seja uma maneira segura de avaliar o poder preditivo, é uma maneira muito útil de comparar a qualidade de ajuste de vários modelos.

Um exemplo de medida seria o erro médio da porcentagem média, mas é possível encontrar mais facilmente.

Suponha que você use SetA com modelA para descrever o número de buracos em uma estrada e use SetB e modelB para descrever o número de pessoas em um país; então, é claro que você não pode dizer que um modelo é melhor que o outro, mas você pode pelo menos, veja qual modelo fornece uma descrição mais precisa.

— Dennis Jaheruddin
fonte

Existem alguns artigos novos explorando exatamente o que você está procurando, eu acho; Nakagawa e Schielzeth (2013) apresentam uma estatística R² para modelos de efeitos mistos denominada "R2 GLMM" para definir a quantidade de variação inexplicada em um modelo.

R²GLMM condicional é interpretado como variação explicada por fatores fixos e aleatórios;

A margem R²GLMM representa a variação explicada por fatores fixos.

Em 2014, Johnson atualizou a equação para dar conta dos modelos de declives aleatórios.

Felizmente, você pode calcular facilmente o R²GLMM marginal e condicional usando o pacote "MuMIn" em R ( Barton, 2015 ).

— Nova
fonte