Por que a eliminação para trás é justificada ao fazer regressão múltipla?

Isso não resulta em excesso de ajuste? Meus resultados seriam mais confiáveis se eu adicionasse um procedimento de canivete ou bootstrap como parte da análise?

— sim
fonte

Quem disse que é justificado? Obviamente, isso deve levar ao excesso de ajustes.

— gung - Restabelece Monica

Na verdade, é sugerido em muitos livros (ainda?), Por exemplo, amazon.com/Statistics-Explained-Introductory-Guide-Scientists/… . Eu estive pensando o mesmo problema. Eu acho que tenho pelo menos 3-4 livros de estatística que não discutem a questão do excesso de ajustes, ao introduzir a regressão múltipla.

— mmh 25/05

Honestamente, se um livro de estatística introdutória não discuta sobre adequação e excesso de testes, eu leria um livro diferente.

— Matthew Drury

A eliminação para trás (e seleção para frente) ainda tende a se ajustar demais se a validação cruzada de exclusão única (por exemplo, PRESS) for usada como critério de seleção de recurso.

— Dikran Marsupial

@mmh não é muito introdutório, mas eu recomendo a leitura do capítulo 4 das Estratégias de modelagem de regressão de Frank Harrell (bem, não é apenas o capítulo 4 que vale a pena ler, mas essa parte é especialmente relevante para esta discussão).

— Glen_b -Reinstala Monica

Eu acho que construir um modelo e testá-lo são coisas diferentes. A eliminação para trás faz parte da construção do modelo. Jack knife e bootstrap são mais usados para testá-lo.

Certamente, é possível ter estimativas mais confiáveis com o bootstrap e o jack knife do que com a simples eliminação para trás. Mas se você realmente deseja testar o overfitting, o teste final é uma amostra dividida, treinamento em alguns, testes em outros. Deixar um fora é muito instável / não é confiável para esse fim: http://www.russpoldrack.org/2012/12/the-perils-of-leave-one-out.html

Acho que pelo menos 10% dos sujeitos precisam sair para obter estimativas mais estáveis de robustez do modelo. E se você tem 20 assuntos, 2 assuntos ainda são muito poucos. Mas então a questão passa a ser se você tem uma amostra grande o suficiente para construir um modelo que possa ser aplicado ao restante da população.

Espero que tenha respondido sua pergunta, pelo menos em parte.

— Dorian P
fonte

Então, pode-se usar validação cruzada com (ou )?

k < n

$k < n$

k << n

$k << n$

— mmh 27/05

An Introduction to Statistical Aprendizagem discute diferentes abordagens para a reamostragem (conjuntos de validação, a validação cruzada com diferentes números de grupos, bootstrapping) em Capítulo 5, e a selecção do modelo no Capítulo 6.

— EDM