Existem alguns trabalhos que tratam dessa questão. Eu procuraria em nenhuma ordem especial:
Pen.LME: Howard D Bondell, Arun Krishna e Sujit K Ghosh. Seleção de variáveis conjuntas para efeitos fixos e aleatórios em modelos lineares de efeitos mistos. Biometrics, 66 (4): 1069-1077, 2010.
GLMMLASSO: Jurg Schelldorfer, Peter Buhlmann, Sara van de Geer. Estimativa para modelos de efeitos mistos lineares de alta dimensão usando a penalização L1. Scandinavian Journal of Statistics, 38 (2): 197-214, 2011.
que pode ser encontrado online.
Por acaso, estou terminando um trabalho sobre a aplicação de uma penalidade líquida elástica ao modelo misto (LMMEN) agora e planejo enviá-lo para revisão de periódico no próximo mês.
- LMMEN: Sidi, Ritov, Unger. Regularização e Classificação de Modelos Mistos Lineares através da Pena de Rede Elástica
Acima de tudo, se você estiver modelando dados que não são normais ou não têm um link de identidade, eu usaria o GLMMLASSO (mas cuidado, ele não pode lidar com muitos ERs). Caso contrário, o Pen.LME é bom, pois você não possui dados altamente correlacionados, seja nos efeitos fixos ou aleatórios. Neste último caso, você pode me enviar um e-mail e eu ficaria feliz em enviar um código / papel (eu o colocarei em operação no futuro próximo).
Carreguei hoje no CRAN - lmmen . Resolve o problema do modelo misto linear com uma penalidade do tipo rede elástica nos efeitos fixos e aleatórios simultaneamente.
Há também nas funções pacote cv para o lmmlasso e glmmLasso pacotes nele.