Validação cruzada e otimização de parâmetros

Tenho uma pergunta sobre a otimização de parâmetros quando uso a validação cruzada de 10 vezes.

Quero perguntar se os parâmetros devem ser corrigidos ou não durante o treinamento do modelo de cada dobra, ou seja, (1) selecione um conjunto de parâmetros otimizados para a precisão média de cada dobra.

ou

(2) Eu deveria encontrar o parâmetro otimizado para cada dobra e, em seguida, cada dobra usa diferentes parâmetros otimizados para treinar seu modelo, testar nos dados de teste da dobra, respectivamente, e finalmente avaliar a precisão de cada dobra como resultado?

Qual é o método correto para validação cruzada? Muito obrigado.

Vamos primeiro distinguir entre dois conjuntos de parâmetros: parâmetros do modelo (por exemplo, pesos para características em regressão) e parâmetros para o algoritmo de aprendizado (e hiperparâmetros). O objetivo da validação cruzada é identificar parâmetros de aprendizado que generalizem bem em todas as amostras da população que aprendemos em cada dobra.

Mais especificamente: pesquisamos globalmente no espaço sobre parâmetros de aprendizado, mas em cada dobra, corrigimos parâmetros de aprendizado e aprendemos os parâmetros do modelo. O resultado deve ser aprender parâmetros que produzam, em média, o melhor desempenho em todas as dobras. Em seguida, podemos usá-los para treinar um modelo em todo o conjunto de dados.

Eu acho que a resposta atualmente aceita é incompleta de uma maneira infeliz. Eu não concordo com a frase

O objetivo da validação cruzada é identificar parâmetros de aprendizado que generalizem bem em todas as amostras da população que aprendemos em cada dobra.

Esta é realmente uma aplicação muito importante da validação cruzada, mas não a única. Normalmente, você quer fazer duas coisas:

1. Crie o melhor modelo possível
2. Obtenha uma impressão precisa de quão bem ele executa

Agora, para concluir o objetivo 1, dependendo do seu algoritmo, talvez seja necessário ajustar alguns hiperparâmetros e isso é realmente feito com validação cruzada. Mas isso ainda não ajuda no objetivo 2. Para isso, você precisa basicamente aninhar a validação cruzada, assim:

• Separar dados inteiros em n dobras
• Para cada um, dobre os dados de treinamento novamente em subpastas
• Use a validação cruzada nas subpastas para aprender bons hiperparâmetros
• Com esses hiperparâmetros, construa um modelo nos dados de treinamento dessa dobra
• Teste o modelo nos dados de teste
• Repita na próxima dobra

Para construir um bom modelo, você só precisa da validação cruzada interna. Você ainda precisará fazer isso para obter um bom modelo. Mas, para obter uma boa estimativa do desempenho do modelo, é necessário executar todo o processo de construção do modelo dentro de um esquema de validação cruzada. Isso também inclui etapas como imputação etc.