Como os modelos de efeitos mistos devem ser comparados e / ou validados?

Como os modelos de efeitos mistos (lineares) são normalmente comparados entre si? Eu sei que testes de razão de verossimilhança podem ser usados, mas isso não funciona se um modelo não for um 'subconjunto' do outro correto?

A estimativa dos modelos df é sempre direta? Número de efeitos fixos + número de componentes de variação estimados? Ignoramos as estimativas de efeitos aleatórios?

E a validação? Meu primeiro pensamento é a validação cruzada, mas as dobras aleatórias podem não funcionar, dada a estrutura dos dados. Uma metodologia de 'deixar um assunto / cluster de fora' é apropriada? Que tal deixar uma observação de fora?

Mallows Cp pode ser interpretado como uma estimativa do erro de previsão dos modelos. A seleção do modelo via AIC tenta minimizar o erro de previsão (então Cp e AIC devem escolher o mesmo modelo se os erros forem gaussianos, acredito). Isso significa que o AIC ou o Cp podem ser usados ​​para escolher um modelo de efeitos mistos lineares 'ideal' a partir de uma coleção de alguns modelos não aninhados em termos de erro de previsão? (desde que adequados aos mesmos dados) A BIC ainda tem maior probabilidade de escolher o modelo "verdadeiro" entre os candidatos?

Também tenho a impressão de que, ao comparar modelos de efeitos mistos via AIC ou BIC, contamos apenas os efeitos fixos como 'parâmetros' no cálculo, e não os modelos reais df.

Existe alguma boa literatura sobre esses tópicos? Vale a pena investigar cAIC ou mAIC? Eles têm aplicação específica fora da AIC?

O principal problema na seleção de modelos em modelos mistos é definir verdadeiramente os graus de liberdade (df) de um modelo. Para calcular df de um modelo misto, é necessário definir o número de parâmetros estimados, incluindo efeitos fixos e aleatórios. E isso não é direto. Este artigo de Jiming Jiang e outros (2008) intitulado "Métodos de vedação para seleção mista de modelos" poderia ser aplicado em tais situações. Um novo trabalho relacionado é este um por Greven, S. & Kneib, T. (2010) intitulado "Sobre o comportamento do AIC marginal e condicional em modelos lineares mistos". Espero que isso possa ser útil.

Uma maneira de comparar modelos (mistos ou não) é plotar resultados. Suponha que você possua o modelo A e o modelo B; produza os valores ajustados de cada um e faça um gráfico entre eles em um gráfico de dispersão. Se os valores forem muito semelhantes (usando seu julgamento para determinar se são), escolha o modelo mais simples. Outra idéia é encontrar as diferenças entre os valores ajustados e representar graficamente esses valores em relação aos valores independentes; você também pode fazer um gráfico de densidade das diferenças. Em geral, sou um defensor de não usar testes estatísticos para comparar modelos (embora a AIC e suas variantes certamente tenham virtudes), mas usar o julgamento. Obviamente, isso tem a (des) vantagem de não dar respostas precisas.