Modelos de empilhamento / montagem com circunflexo

Costumo me encontrar treinando vários modelos preditivos diferentes usando caretem R. Vou treiná-los todos nas mesmas dobras de validação cruzada, usando caret::: createFoldse depois escolho o melhor modelo com base em erro de validação cruzada.

No entanto, a previsão mediana de vários modelos geralmente supera o melhor modelo único em um conjunto de testes independente. Estou pensando em escrever algumas funções para empilhar / agrupar modelos de intercalação que foram treinados com as mesmas dobras de validação cruzada, por exemplo, fazendo previsões medianas de cada modelo em cada dobra ou treinando um "metamodelo".

Obviamente, isso pode exigir um loop externo de validação cruzada. Alguém sabe de algum pacote existente / código-fonte aberto para modelos de intercalação de conjuntos (e possivelmente validação cruzada desses conjuntos)?

Parece que Max Kuhn realmente começou a trabalhar em um pacote para montar modelos de sinal de intercalação , mas ainda não teve tempo para finalizá-lo. Era exatamente isso que eu estava procurando. Espero que o projeto termine um dia!

edit: eu escrevi meu próprio pacote para fazer isso: caretEnsemble

O que você está procurando é chamado de "conjunto de modelos". Um tutorial introdutório simples com código R pode ser encontrado aqui: http://viksalgorithms.blogspot.jp/2012/01/intro-to-ensemble-learning-in-r.html

Não sei bem o que você está procurando, mas isso pode ajudar: http://www.jstatsoft.org/v28/i05/paper

É como usar vários modelos no cursor. A parte em que você pode estar interessado é a seção 5 na pág. 13)