Eu gostaria de colocar esta questão em duas partes. Ambos lidam com um modelo linear generalizado, mas o primeiro trata da seleção de modelos e o outro trata da regularização.
Antecedentes: Utilizo modelos GLMs (linear, logístico, regressão gama) para previsão e descrição. Quando me refiro às " coisas normais que se faz com uma regressão ", refiro-me amplamente à descrição com (i) intervalos de confiança em torno dos coeficientes, (ii) intervalos de confiança em torno de previsões e (iii) testes de hipótese relativos a combinações lineares dos coeficientes, como "é existe uma diferença entre o tratamento A e o tratamento B? ".
Você perde legitimamente a capacidade de fazer essas coisas usando a teoria normal de cada uma das seguintes opções? E se sim, essas coisas são realmente boas apenas para modelos usados para previsões puras?
I. Quando um GLM foi ajustado através de algum processo de seleção de modelo (por concretude, diga que é um procedimento gradual baseado na AIC).
II Quando um GLM é ajustado através de um método de regularização (por exemplo, usando glmnet em R).
Eu acho que, para mim, a resposta é tecnicamente que você deve usar um bootstrap para as " coisas normais que se faz com uma regressão ", mas ninguém realmente cumpre isso.
Acrescentar:
Depois de obter algumas respostas e ler em outro lugar, eis a minha opinião sobre isso (para qualquer outra pessoa se beneficiar, além de receber correção).
I.
A) RE: Generalizar erro. Para generalizar as taxas de erro em novos dados, quando não há retenção definida, a validação cruzada pode funcionar, mas você precisa repetir o processo completamente para cada dobra - usando loops aninhados -, portanto, qualquer seleção de recurso, ajuste de parâmetro etc. deve ser feito de forma independente a cada vez. Essa idéia deve valer para qualquer esforço de modelagem (incluindo métodos penalizados).
B) RE: Teste de hipóteses e intervalos de confiança do GLM.Ao usar a seleção de modelo (seleção de recurso, ajuste de parâmetro, seleção de variável) para um modelo linear generalizado e um conjunto de retenção, é permitido treinar o modelo em uma partição e depois ajustá-lo nos dados restantes ou no conjunto de dados completo e use esse modelo / dados para executar testes de hipóteses etc. Se não existir um conjunto de espera, um bootstrap pode ser usado, desde que o processo completo seja repetido para cada amostra de bootstrap. Isso limita os testes de hipóteses que podem ser feitos, já que talvez uma variável nem sempre seja selecionada por exemplo.
C) RE: Não transmite previsão em futuros conjuntos de dados, ajuste um modelo proposital guiado pela teoria e alguns testes de hipóteses e até considere deixar todas as variáveis no modelo (significativas ou não) (nos moldes de Hosmer e Lemeshow). Este é um tipo clássico de modelagem de regressão de conjunto de variáveis pequenas e, em seguida, permite o uso de ICs e teste de hipóteses.
D) ER: Regressão penalizada. Nenhum conselho, talvez considere isso adequado apenas para previsão (ou como um tipo de seleção de recurso a ser aplicado a outro conjunto de dados como em B acima), pois o viés introduzido torna imprudentes os CIs e os testes de hipótese - mesmo com o bootstrap.