Boa literatura sobre validação cruzada

Respostas:

5

Se a validação cruzada deve ser usada para seleção de modelo / recurso, vale lembrar que é possível ajustar demais a estatística de validação cruzada e terminar com um modelo com desempenho ruim e a estatística otimizada de validação cruzada pode ser uma estimativa de desempenho severamente otimista. Os efeitos disso podem ser surpreendentemente grandes. Consulte Ambroise e McLachlan para obter um exemplo disso em uma configuração de seleção de recurso e Cawley e Talbot para um exemplo em uma configuração de seleção de modelo.

— Dikran Marsupial
fonte
É bom mencionar isso, mas deve-se dizer duas vezes que esses são exemplos de uso indevido ou excesso de confiança do CV, e não algumas desvantagens do próprio método.
11
de fato, no entanto, é uma maneira pela qual é comumente mal utilizado - por isso é importante estar ciente ao aprender sobre a validação cruzada! Mais validação cruzada geralmente é uma boa solução, ou seja, validação cruzada aninhada ou, como Stone coloca, a validação "cruzada dupla". O problema afeta praticamente qualquer critério de seleção de recurso ou modelo que seja otimizado para obter um modelo; não há nada de especial na validação cruzada nesse sentido.
— Dikran Marsupial
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.