Haveria um problema de seleção de modelo se tivéssemos acesso a um oráculo que nos desse o erro exato de generalização?

Deixe uma função que, dada alguma hipótese retorne o erro de generalização para esse fixo .$\mathcal{E(h)}$$h$$h$

Eu estava lendo algumas notas sobre seleção de modelo e erro de generalização e dizia:

"Se tivéssemos acesso a , também não haveria problema de seleção de modelos. Simplesmente selecionaríamos os largas para encontrar um classificador que minimizasse o erro."$\mathcal{E(h)}$$\mathcal{H}$

Não tinha certeza se apreciei ou compreendi completamente essa afirmação ou realmente concordei com ela. A razão é que, mesmo se tivéssemos acesso a (que eu acho que eles significam um oráculo que leva apenas diz seu verdadeiro erro de generalização), acho que ainda seria problemático encontrar o modelo que tem a hipótese que generaliza bem. O motivo é, digamos que as classes de modelos sejam infinitas (ou seja, há um conjunto infinito de modelos para escolher). Realmente não sabemos quando atingiu seu mínimo, a menos que verifiquemos cada$\mathcal{E(h)}$$h$$\mathcal{H}$$\mathcal{E(h)}$$\mathcal{H}$isso é possível. ou seja, mesmo se tivéssemos algo assim, não acho que o problema seja eliminado com tanta facilidade, porque como podemos ter certeza de que realmente encontramos o melhor (em tempo polinomial)? Basicamente, sinto que a pergunta assume que temos um oráculo para determinar quando a generalização também é mínima. Além disso, como indiquei, o algoritmo / torneamento sugerido é decidível e não em P (ou seja, pode ser executado para sempre ...)$\mathcal{H}$

A principal questão / dúvida que tenho com essa pergunta é que, mesmo com um Oracle assim, não estou convencido de que a seleção de modelos tenha sido trivializada, uma resposta que tente abordar essa questão específica, tenha maiores chances de resolver melhor minha pergunta.

Basicamente, sinto que a pergunta assume que temos um oráculo para determinar quando a generalização também é mínima.

Claro, ter isso seria excelente. Ter um oráculo que nos dê o melhor modelo seria ainda melhor. No entanto, você parece interpretar mal a função do oráculo.

A tarefa da seleção de modelos é escolher o melhor modelo de um determinado conjunto. Fazemos isso escolhendo o modelo que acreditamos ter o melhor desempenho de generalização. Sem um oráculo para nos dizer , somos forçados a estimar o desempenho da generalização, digamos .$\mathcal{E}(h)$$\hat{\mathcal{E}}(h)$

Como precisamos escolher um modelo com base em seu desempenho estimado de generalização, não temos garantias de escolher o modelo certo. É isso que torna a seleção de modelos complicada (e um tanto arbitrária). Se tivéssemos acesso ao verdadeiro desempenho da generalização, a seleção de modelos seria trivial.

A razão é, digamos que as classes de modelo sejam infinitas (ou seja, há um conjunto infinito de modelos para escolher).$\mathcal{H}$

Essa é uma boa questão teórica, mas é um tanto tangencial ao problema prático, pois normalmente se deseja escolher o melhor modelo dentro de um conjunto finito de opções.

Você está certo de que um conjunto verdadeiramente infinito de modelos produziria um problema indecidível sem fazer outras suposições. Na prática, no entanto, algumas suposições adicionais são razoáveis.

É comum e geralmente razoável supor que a forma funcional de se comporte de uma certa maneira com relação aos hiperparâmetros de uma determinada classe de modelo (por exemplo, convexa). Se tais premissas se mantiverem, os hiperparâmetros globalmente ótimos poderão ser encontrados em tempo polinomial.$\mathcal{E}(h)$