Como funciona a validação cruzada de exclusão única? Como selecionar o modelo final de

Eu tenho alguns dados e quero construir um modelo (por exemplo, um modelo de regressão linear) a partir desses dados. Em uma próxima etapa, quero aplicar a validação cruzada de uma saída para fora (LOOCV) no modelo para ver o desempenho.

Se entendi direito o LOOCV, construo um novo modelo para cada uma das minhas amostras (o conjunto de testes) usando todas as amostras, exceto esta amostra (o conjunto de treinamento). Então eu uso o modelo para prever o conjunto de testes e calcular os erros . $(\text{predicted} - \text{actual})$

Em uma próxima etapa, agrego todos os erros gerados usando uma função escolhida, por exemplo, erro quadrático médio. Eu posso usar esses valores para julgar a qualidade (ou qualidade do ajuste) do modelo.

Pergunta: Para qual modelo esses valores de qualidade se aplicam, qual modelo devo escolher se achar que as métricas geradas pelo LOOCV são apropriadas para o meu caso? LOOCV analisou modelos diferentes (onde é o tamanho da amostra); qual é o modelo que devo escolher? $n$ $n$

É o modelo que utiliza todas as amostras? Este modelo nunca foi calculado durante o processo LOOCV!
É o modelo que tem o menor erro?

cross-validation

— theomega
fonte

Relacionado: stats.stackexchange.com/questions/11602 .

— ameba diz Restabelecer Monica

$n-1$ $n$

Em vez de escolher um modelo, o ideal é ajustá-lo a todos os dados e usar o LOO-CV para fornecer uma estimativa ligeiramente conservadora do desempenho desse modelo.

Observe, no entanto, que o LOOCV possui uma alta variação (o valor que você obterá varia muito se você usar uma amostra aleatória diferente de dados), o que geralmente o torna uma má escolha do estimador para avaliação de desempenho, mesmo que seja aproximadamente imparcial. Eu o uso o tempo todo para a seleção de modelos, mas realmente apenas porque é barato (quase grátis para os modelos de kernel em que estou trabalhando).

— Dikran Marsupial
fonte

Obrigado pela resposta. Não é a frase "use LOO-CV para fornecer uma estimativa ligeiramente conservadora do desempenho desse modelo". errado é o caso geral? O modelo pode piorar se eu adicionar outro ponto; nesse caso, o LOO-CV pode ser um. estimativa otimista

— theomega

Quanto mais dados você usar para construir o modelo, geralmente melhor será o modelo. Embora o ponto adicional possa piorar o modelo, é mais provável que ele fique um pouco melhor. Portanto, em geral, o loocv tem um leve viés pessimista, mas é muito pouco, a variação do estimador LOOCV é geralmente uma consideração muito maior.

— Dikran Marsupial

O que você deve usar para avaliação de desempenho então? (Supondo que a coleta de dados seja cara, você deseja usar todos os dados disponíveis para ajustar-se ao modelo).

— Sideshow Bob

Bootstrap provavelmente. A maioria dos modelos que eu uso possui parâmetros de regularização, etc., que precisam ser ajustados, portanto, frequentemente, uso o LOOCV para ajustar os modelos e a autoinicialização ou retenção repetida para avaliação de desempenho.

— Dikran Marsupial

@DikranMarsupial Você tem certeza do fato de que o CV de licença única fornece um viés pessimista? Até onde eu sei, geralmente fornece estimativas de erro mais baixas do que o K-Fold, por exemplo. Além disso, LOOCV não tem variação 0? Você pode fazer LOOCV apenas uma vez e depois "ficar sem amostra". A única variação que consigo pensar é aquela produzida pelos algoritmos de treinamento usados para ajustar-se ao modelo. Mas isso deve ser uma variação associada à variação dos parâmetros ótimos, não ao erro do modelo em si. Obrigado.

— D1X