Validação cruzada de exclusão: estimativa relativamente imparcial do desempenho da generalização?

Li que a validação cruzada de deixar um fora fornece uma “estimativa imparcial do verdadeiro desempenho da generalização” (por exemplo, aqui ) e que essa é uma propriedade vantajosa do CV de deixar um fora.

No entanto, não vejo como isso decorre das propriedades do CV individual. Por que o viés desse estimador é baixo quando comparado a outros?

Atualizar:

Eu continuo investigando o tópico e acredito que tem a ver com o fato de que esse estimador é menos pessimista do que, digamos, a validação K-fold, já que ele usa todos os dados, exceto uma instância, mas seria ótimo ler um relatório matemático derivação disso.

Eu não acho que haja uma derivação matemática do fato de que no ML, com o aumento do tamanho dos testes de treinamento, as taxas de erro de previsão diminuem. O LOO - comparado à validação com dobras k - maximiza o tamanho do conjunto de treinamento, como você observou.

No entanto, o LOO pode ser sensível à "geminação" - quando você tem amostras altamente correlacionadas, com o LOO você tem a garantia de que, para cada amostra usada como um conjunto de testes, os "gêmeos" restantes estarão no conjunto de treinamento. Isso pode ser diagnosticado por uma rápida diminuição na precisão quando o LOO é substituído por, digamos, 10 vezes a validação cruzada (ou uma validação estratificada, se por exemplo as amostras estiverem emparelhadas). Na minha experiência, isso pode levar a um desastre se geralmente o seu conjunto de dados é pequeno.

Em um mundo perfeito, você também tem um conjunto de validação que nunca usa para treinar seu modelo, nem mesmo em uma configuração de CV. Você o mantém com o único objetivo de testar o desempenho final de um modelo antes de enviar o artigo :-)