Acredito que, ao perguntar sobre o ajuste excessivo, o entrevistador procurou a "resposta do livro de texto" enquanto você passava alguns passos depois disso.
Um sintoma de excesso de ajuste é que o desempenho do classificador no conjunto de trens é melhor que o desempenho no conjunto de teste. Refiro-me a essa resposta como a "resposta do livro de texto", pois é a resposta comum e uma aproximação razoável.
Observe que esta resposta tem muitos fins em aberto. Por exemplo, quanta diferença é super ajustada? . Além disso, uma diferença no desempenho entre os conjuntos de dados não é necessariamente devido ao ajuste excessivo. Por outro lado, o ajuste excessivo não resultará necessariamente em uma diferença significativa no desempenho nos dois conjuntos de dados.
A validação cruzada é uma técnica para avaliar o desempenho de um aluno (por exemplo, árvore de decisão) em dados que ele não via antes. No entanto, o ajuste excessivo se refere a um modelo específico (por exemplo, se "f1" então e não "f2" predizer True). Ele mostrará a tendência do aluno de se superestimar nesses dados, mas não responderá se o seu modelo específico foi super adaptado.
Para sobreajustar, o modelo precisará de complexidade e é isso que a regularização ajuda. Limita (ou negocia) a complexidade do modelo. Observe que outra fonte de sobreajuste é o tamanho do conjunto de hipóteses (pode ser considerado o número de modelos possíveis). A decisão antecipada de usar um conjunto de hipóteses restrito é outra maneira de evitar o ajuste excessivo.