Noções básicas sobre autoinicialização para validação e seleção de modelo

Acho que entendo como os fundamentos do bootstrap funcionam, mas não tenho certeza se entendo como posso usar o bootstrap para a seleção de modelos ou para evitar ajustes excessivos.

Para a seleção de modelos, por exemplo, você escolheria o modelo que produz o menor erro (talvez variância?) Nas amostras de inicialização?

Existem textos que discutem como usar a inicialização para seleção ou validação de modelo?

EDIT: Veja este tópico, e a resposta de @ mark999 para mais contexto por trás desta pergunta.

model-selection cross-validation bootstrap

— Amelio Vazquez-Reina
fonte

@suncoolsu Se eu tenho o modelo A, B e C para escolher, normalmente usaria validação cruzada ou bootstrapping para escolher um modelo quando 1) estou interessado em precisão / classificação de previsão e 2) não tenho dados suficientes para resistir conjunto de validação. Por que isso não seria uma boa ideia (e eu sei que a validação aninhada é importante para a seleção de recursos, etc.).

— B_Miner

A resposta de @ mark999 neste tópico sugere a validação de autoinicialização como uma solução para aprender um modelo no conjunto de dados completo enquanto ainda enfrenta o sobreajuste. Essa resposta foi o que inspirou essa pergunta em grande parte, e a pergunta original nesse segmento também deve adicionar contexto a essa pergunta.

— Amelio Vazquez-Reina

Sinto muito - provavelmente esse sou eu sendo estatístico -, mas acho que a validação cruzada e o bootstrap são duas coisas diferentes. A validação cruzada é excelente e deve ser feita (e também a inicialização). Mas se você estiver em cenários como escolher entre A, B, C (apenas três modelos), o BIC pode ser uma escolha melhor. Como eu disse, a solução depende do problema em questão e várias abordagens podem ser apropriadas.

— suncoolsu

AIC geralmente produz menos adequação do que BIC.

— precisa

Respostas:

Primeiro, você precisa decidir se realmente precisa da seleção de modelos ou apenas precisa modelar. Na maioria das situações, dependendo da dimensionalidade, é preferível ajustar um modelo abrangente e flexível.

O bootstrap é uma ótima maneira de estimar o desempenho de um modelo. A coisa mais simples a estimar é a variação. De acordo com o ponto original, o bootstrap pode estimar o desempenho futuro provável de um determinado procedimento de modelagem, em novos dados ainda não realizados.

Se estiver usando a reamostragem (autoinicialização ou validação cruzada) para escolher os parâmetros de ajuste do modelo e estimar o modelo, será necessário um autoinicialização dupla ou uma validação cruzada aninhada.

Em geral, o bootstrap requer menos ajustes do modelo (geralmente cerca de 300) do que a validação cruzada (a validação cruzada de 10 vezes deve ser repetida 50-100 vezes para estabilidade).

Alguns estudos de simulação podem ser encontrados em http://biostat.mc.vanderbilt.edu/rms

— Frank Harrell
fonte

Uau, eu não sabia que o CV de 10 vezes deveria ser repetido 50-100 vezes! Vou ter que revisitar meu último projeto e tentar o teste de autoinicialização. Adoro este site: eu aprendo algo todos os dias!

— 21711 Wayne

Obrigado @Frank! Digamos que eu tenha um conjunto de modelos de candidatos com o mesmo número de parâmetros; aqueles com menor variação nas estimativas de autoinicialização são melhores candidatos (assumindo que a perda ou o risco total foi o mesmo para todos eles) para combater o super ajuste?

— Amelio Vazquez-Reina

Eu não assumiria isso, mas é possível.

— precisa

Ótima resposta, obrigado! Eu não sabia que o bootstrap também pode ser usado para validação de modelo E a validação cruzada precisa ser repetida várias vezes. Vejo outra vantagem desse método: a validação cruzada exige que o número de dobras seja determinado (subjetivamente) de antemão, normalmente 10, que é mais ou menos heurístico e não ideal. Mas, embora esse seja um ótimo método, por que não parece tão popular quanto a validação cruzada?

— SiXUlm 21/02/19

A validação do modelo de inicialização é bastante popular, mas a validação cruzada existe há mais tempo. Mas, como você disse, há alguma arbitrariedade na escolha de # dobras no cv.

— Frank Harrell

Considere usar o bootstrap para obter a média do modelo .

O artigo abaixo poderia ajudar, pois compara uma abordagem de média do modelo de autoinicialização (a mais comumente usada?) À média da modelagem bayesiana e apresenta uma receita para realizar a média do modelo.

Média do modelo de bootstrap em estudos de séries temporais da poluição e mortalidade do ar em partículas

— Josh Hemann
fonte

Eu não recomendaria o bootstrap para a média do modelo na maioria dos casos. O bootstrap é melhor para informar como um procedimento de modelagem é executado, em vez de dizer como criar um novo procedimento. Existem exceções a isso, no entanto.

— precisa

@Frank Harrell - De acordo. O artigo que referi se aplica à área em que trabalho algumas vezes e usei o bootstrap para o cenário que você declarou: avaliar a variabilidade de um modelo específico devido a erro de amostragem. Mas a incerteza devido à seleção do modelo em si é ainda mais difícil de avaliar e a abordagem da média do modelo de autoinicialização pode ser útil como uma ajuda, especialmente para profissionais como eu que não têm experiência / experiência para reformular problemas para a média do modelo bayesiano.

— Josh Hemann

Não, eu diria que o bootstrap é excelente para avaliar os danos causados pelo desconhecimento prévio do modelo. Isso não implica que você deva necessariamente usar o bootstrap para melhorar as coisas, como a média de um conjunto de modelos incertos. Se você usar o bootstrap dessa maneira, precisará de um bootstrap duplo para obter uma avaliação honesta do desempenho do modelo médio. Devo observar que as florestas aleatórias são uma forma de média do modelo usando o bootstrap.

— precisa

Bom ponto sobre o bootstrap duplo. Os autores do artigo I referenciada ter um acompanhamento de papel sobre isso: Bootstrap-após-Bootstrap Média Modelo de Redução Modelo Incerteza na Selecção do modelo para estudos de mortalidade Poluição do Ar

— Josh Hemann

Boa. Basta lembrar que muitas vezes é um exagero. Geralmente, é melhor apresentar um modelo completo direcionado ao assunto e usar encolhimento (penalização) se ele se adequar demais; mas ainda é um modelo.

— precisa