Computando o melhor subconjunto de preditores para regressão linear

Para a seleção de preditores na regressão linear multivariada com preditores adequados, quais métodos estão disponíveis para encontrar um subconjunto 'ótimo' dos preditores sem testar explicitamente todos os subconjuntos 2 p ? Em 'Applied Survival Analysis', Hosmer & Lemeshow fazem referência ao método de Kuk, mas não consigo encontrar o artigo original. Alguém pode descrever esse método ou, melhor ainda, uma técnica mais moderna? Pode-se assumir erros normalmente distribuídos.$p$$2^p$

Eu nunca ouvi falar do método de Kuk, mas o assunto atual hoje é a minimização de L1. A justificativa é que, se você usar um termo de penalidade do valor absoluto dos coeficientes de regressão, os sem importância devem ir para zero.

Essas técnicas têm alguns nomes engraçados: Lasso, LARS, seletor de Dantzig. Você pode ler os artigos, mas um bom lugar para começar é com Elementos de Aprendizagem Estatística , Capítulo 3.

Este é um tópico enorme. Como mencionado anteriormente, Hastie, Tibshirani e Friedman fazem uma boa introdução no capítulo 3 de Elements of Statistical Learning.

Alguns pontos 1) O que você quer dizer com "melhor" ou "ideal"? O que é melhor em um sentido pode não ser melhor em outro. Dois critérios comuns são a precisão preditiva (previsão da variável resultado) e a produção de estimadores imparciais dos coeficientes. Alguns métodos, como o Lasso & Ridge Regression, inevitavelmente produzem estimadores de coeficientes tendenciosos.

2) A frase "melhores subconjuntos" pode ser usada em dois sentidos separados. Geralmente, para se referir ao melhor subconjunto entre todos os preditores, que otimiza alguns critérios de construção de modelo. Mais especificamente, pode se referir ao algoritmo eficiente de Furnival e Wilson para encontrar esse subconjunto entre números moderados (~ 50) de preditores lineares (Regressões por Leaps and Bounds. Technometrics, Vol. 16, No. 4 (Nov., 1974), pp. 499-51)

http://www.jstor.org/stable/1267601

O que aprendi que, em primeiro lugar, usa a Melhor abordagem de subconjuntos como uma ferramenta de triagem, e os procedimentos de seleção passo a passo podem ajudá-lo a finalmente decidir quais modelos podem ser os melhores subconjuntos (neste momento, o número desses modelos é bem pequeno de manusear). Se um dos modelos atender às condições do modelo, fizer um bom trabalho de resumir a tendência nos dados e, o mais importante, permitir que você responda à sua pergunta de pesquisa, parabenize seu trabalho.