Por que as informações sobre os dados de validação vazaram se eu avalio o desempenho do modelo nos dados de validação ao ajustar os hiperparâmetros?

No Deep Learning de François Chollet com Python, ele diz:

Como resultado, o ajuste da configuração do modelo com base em seu desempenho no conjunto de validação pode resultar rapidamente na adaptação excessiva ao conjunto de validação, mesmo que seu modelo nunca seja treinado diretamente sobre ele.

Central para esse fenômeno é a noção de vazamento de informações. Sempre que você ajusta um hiperparâmetro do seu modelo com base no desempenho do modelo no conjunto de validação, algumas informações sobre os dados de validação são vazadas no modelo . Se você fizer isso apenas uma vez, para um parâmetro, muito poucos bits de informações vazarão e seu conjunto de validação permanecerá confiável para avaliar o modelo. Mas se você repetir isso várias vezes - executando uma experiência, avaliando o conjunto de validação e modificando seu modelo como resultado -, você vazará uma quantidade cada vez mais significativa de informações sobre a validação definida no modelo.

neural-networks cross-validation hyperparameter

— fabiomaia
fonte

BTW: não depende apenas da frequência com que você faz isso, mas também da incerteza aleatória da sua avaliação de desempenho (objetivo funcional) durante a otimização.

— cbeleites descontente com SX

@cbeleites Desculpe, o que isso significa?

— Fabiomaia

se os resultados da avaliação utilizados para otimização fossem perfeitos (ou seja, nem erro sistemático nem aleatório), a otimização escolheria o modelo realmente ideal, você não teria nenhum ajuste excessivo e outra validação perfeita independente do modelo escolhido produziria exatamente o mesmo resultado. A otimização pode até tolerar erros sistemáticos (viés), desde que não mude com os fatores que você varia durante a otimização. Agora considere o que acontece se houver um erro aleatório (incerteza de variância) na estimativa de desempenho: você recebe ruído além da verdadeira "paisagem" de alto desempenho.

— cbeleites infeliz com SX

Esse ruído pode fazer com que algum ponto (configurações do hiperparâmetro) pareça melhor do que realmente é; portanto, essas configurações do hiperparâmetro podem ser escolhidas acidentalmente (e erroneamente). A probabilidade de que isso aconteça aumenta com a) o número de vezes que você olha para esses valores de desempenho eb) a quantidade de ruído que você tem sobre o desempenho real (em comparação com o aumento real do desempenho). Não é por isso que a reutilização dos resultados da validação é um vazamento de dados, mas sim como o respectivo sobreajuste acontece e a gravidade do problema que você deve esperar - portanto, apenas um comentário.

— cbeleites infeliz com SX

$\phi$ $\theta$

$\theta$ $\phi$ $\phi$ $\theta$

— Sycorax diz restabelecer Monica
fonte

Em retrospecto, isso era bastante óbvio. Mas o que significa "Se você fizer isso apenas uma vez, para um parâmetro, muito poucos bits de informação vazarão" significam? O que se entende ali e como isso contrasta com o outro caso em que "você repete isso muitas vezes"?

— Fabiomaia

2^{10}

$2^{10}$

Isso faz todo o sentido. A redação do livro original não era das melhores. Obrigado!

— Fabiomaia

A redação do livro é excelente.

— Michael M

Para você, pode parecer "excelente" porque você provavelmente já sabe do que o autor está falando. O comentário do @Sycorax foi muito mais explícito e útil para mim.

— Fabiomaia