Validação cruzada para modelos mistos?


9

Meu colega e eu estamos ajustando uma variedade de modelos de efeitos mistos lineares e não-lineares em R. Somos solicitados a realizar validação cruzada nos modelos ajustados, para que se possa verificar se os efeitos observados são relativamente generalizáveis. Normalmente, essa é uma tarefa trivial, mas, no nosso caso, precisamos dividir os dados em uma parte de treinamento e uma parte de teste (para fins de CV) que não compartilham níveis comuns. Por exemplo,

Os dados do treinamento podem ser baseados nos Grupos 1,2,3,4; O modelo ajustado é validado cruzadamente no Grupo 5.

Portanto, isso cria um problema, pois os efeitos aleatórios baseados em grupo estimados nos dados de treinamento não se aplicam aos dados de teste. Portanto, não podemos CV do modelo.

Existe uma solução relativamente simples para isso? Ou alguém já escreveu um pacote para resolver esse problema? Qualquer dica é bem-vinda!

Obrigado!


2
Na estimativa de área pequena, você tem o mesmo problema com áreas pequenas "fora da amostra". O que geralmente é feito é que você calcule os efeitos aleatórios fora da amostra por zero (o valor mais provável - supondo que seus efeitos aleatórios sejam normalmente distribuídos). Efetivamente, você está usando a parte "sintética" ou fixa do modelo apenas para previsão.
probabilityislogic

probabilityislogic / Ting Qian, estou lutando com esse problema agora e gostaria de ver como você especificou efeitos fora da amostra como 0. É possível editar sua resposta aqui e mostrar o código R? obrigado!
Pradeep Babu

Respostas:


3

Fang (2011) demonstrou equivalência assintótica entre AIC aplicada a modelos mistos e validação cruzada de deixar um cluster. Possivelmente, isso satisfaria seu revisor, permitindo que você simplesmente calculasse o AIC como uma aproximação mais fácil de calcular ao que eles solicitaram?


Obrigado! Isso parece útil. Na verdade, já calculamos o BIC, mas o revisor deseja ver os resultados da validação cruzada. ;-) Alguns dos conjuntos de dados que temos são relativamente pequenos. Portanto, pode-se argumentar que esse comportamento assintótico não é esperado. Mas, sim, certamente poderíamos citar Fang (2011) quando apresentamos os resultados do BIC, já que o AIC e o BIC também são assintoticamente equivalentes?
Ting Qian

2
Não acredito que o AIC e o BIC sejam assintoticamente equivalentes, pois tentam responder a questões fundamentalmente diferentes. Veja: stats.stackexchange.com/questions/577/…
Mike Lawrence

E aqui está uma comparação mais detalhada da AIC e da BIC: smr.sagepub.com/cgi/doi/10.1177/0049124103262065 #
Mike Lawrence

0

Colby e Bair (2013) desenvolveram uma abordagem de validação cruzada que pode ser aplicada a modelos de efeitos mistos não lineares. Você pode visitar este link para saber mais.


11
Bem-vindo ao Crossvalidated. Adicione mais informações à sua resposta. Talvez você possa descrever as partes mais importantes do artigo.
Ferdi
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.