Pena de laço aplicada apenas ao subconjunto de regressores

Esta pergunta já foi feita antes, mas não houve respostas, então pensei em perguntar novamente.

Estou interessado em aplicar uma penalidade de laço a algum subconjunto dos regressores, ou seja, com função objetivo

$E = ||\mathbf{y} - \mathbf{X}_1 \boldsymbol{\beta}_1 - \mathbf{X}_2 \boldsymbol{\beta}_2||^2 + \lambda ||\boldsymbol{\beta}_1||_1$

onde o Lasso é aplicado apenas a $\boldsymbol{\beta}_1$ mas $\boldsymbol{\beta}_2$ está envolvido na reconstrução.

Existe alguma teoria por trás disso? Em segundo lugar, existe alguma maneira de fazer isso no sklearn?

scikit-learn lasso

— user180303
fonte

Respostas:

Seja um projetor ortogonal no espaço da coluna de . Temos que em que $H_2$ $X_2$

\begin{aligned} min_{β_{1}, β_{2}} {‖ y - X_{1} β_{1} - X_{2} β_{2} ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}} \\ = & min_{β_{1}, β_{2}} {‖ H_{2} (y - X_{1} β_{1}) - X_{2} β_{2} ‖_{2}^{2} + ‖ (I - H_{2}) (y - X_{1} β_{1}) ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}} \\ = & min_{β_{1} | β_{2}} min_{β_{2}} {‖ H_{2} (y - X_{1} β_{1}) - X_{2} β_{2} ‖_{2}^{2} + ‖ (I - H_{2}) (y - X_{1} β_{1}) ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}}, \end{aligned}

$\begin{align*} & \min_{\beta_1, \beta_2} \left\{ \|y - X_1\beta_1 - X_2\beta_2\|_2^2 + \lambda \|\beta_1\|_1 \right\} \\ = & \, \min_{\beta_1, \beta_2} \left\{ \|H_2\left(y - X_1\beta_1 \right) - X_2 \beta_2\|_2^2 + \|\left(I-H_2\right)\left(y - X_1\beta_1 \right) \|_2^2 + \lambda \|\beta_1 \|_1 \right\} \\ = & \, \min_{\beta_1 | \beta_2} \min_{\beta_2} \left\{ \|H_2\left(y - X_1\beta_1 \right) - X_2 \beta_2\|_2^2 + \|\left(I-H_2\right)\left(y - X_1\beta_1 \right) \|_2^2 + \lambda \|\beta_1 \|_1 \right\}, \end{align*}$

\begin{aligned} {\hat{β}}_{2} & = \arg min_{β_{2}} {‖ H_{2} (y - X_{1} β_{1}) - X_{2} β_{2} ‖_{2}^{2} + ‖ (I - H_{2}) (y - X_{1} β_{1}) ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}} \\ = \arg min_{β_{2}} {‖ H_{2} (y - X_{1} β_{1}) - X_{2} β_{2} ‖_{2}^{2}} \end{aligned}

$\begin{align*} \hat\beta_2 & = \arg\min_{\beta_2} \left\{ \|H_2\left(y - X_1\beta_1 \right) - X_2 \beta_2\|_2^2 + \|\left(I-H_2\right)\left(y - X_1\beta_1 \right) \|_2^2 + \lambda \|\beta_1 \|_1 \right\} \\ & = \arg\min_{\beta_2} \left\{ \|H_2\left(y - X_1\beta_1 \right) - X_2 \beta_2\|_2^2 \right\} \end{align*}$ satisfaz para todos desde para todos . Considerando nesta sentença o caso em que é a classificação completa, temos ainda que pois neste caso.

X_{2} {\hat{β}}_{2} = H_{2} (y - X_{1} β_{1})

$X_2 \hat\beta_2 = H_2 (y - X_1 \beta_1)$

β_{1}

$\beta_1$

H_{2} (y - X_{1} β_{1}) \in c o l (X_{2})

$H_2 (y - X_1 \beta_1) \in \mathrm{col}(X_2)$

β_{1}

$\beta_1$

X_{2}

$X_2$

{\hat{β}}_{2} = (X_{2}^{T} X_{2})^{- 1} X_{2}^{T} (y - X_{1} β_{1}),

$\hat\beta_2 = (X_2^T X_2)^{-1} X_2^T (y - X_1 \beta_1),$

H_{2} = X_{2} (X_{2}^{T} X_{2})^{- 1} X_{2}

$H_2 = X_2 (X_2^T X_2)^{-1} X_2$

Conectando isso ao primeiro problema de otimização, vemos que que pode ser avaliado através das ferramentas computacionais usuais do laço. Como whuber sugere em seu comentário, esse resultado é intuitivo, pois os coeficientes irrestritos podem abranger o espaço de , de modo que apenas a parte do espaço ortogonal ao espaço de é motivo de preocupação ao avaliar .

\begin{aligned} {\hat{β}}_{1} & = \arg min_{β_{1}} {0 + ‖ (I - H_{2}) (y - X_{1} β_{1}) ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}} \\ (*) & = \arg min_{β_{1}} {‖ (I - H_{2}) y - (I - H_{2}) X_{1} β_{1} ‖_{2}^{2} + λ ‖ β_{1} ‖_{1}}, \end{aligned}

$\begin{align*} \hat\beta_1 & = \arg\min_{\beta_1} \left\{ 0 + \|\left(I-H_2\right)\left(y - X_1\beta_1 \right) \|_2^2 + \lambda \|\beta_1 \|_1 \right\} \\ & =\arg\min_{\beta_1} \left\{ \|\left(I-H_2\right)y - \left(I-H_2\right)X_1\beta_1 \|_2^2 + \lambda \|\beta_1 \|_1 \right\}, \tag{*} \end{align*}$

β_{2}

$\beta_2$

X_{2}

$X_2$

X_{2}

$X_2$

{\hat{β}}_{1}

$\hat\beta_1$

Apesar da notação ser um pouco mais geral, quase qualquer um que já tenha usado o laço está familiarizado com esse resultado. Para ver isso, suponha que seja o (comprimento ) vetores de um, representando a interceptação. Então, a matriz de projeção e, para qualquer vetor , a projeção ortogonal apenas diminui a vetor. Considerando a equação , é exatamente isso que as pessoas fazem quando calculam os coeficientes do laço! Eles degradam os dados para que a interceptação não precise ser considerada. $X_2 = \mathbf{1}$ $n$ $H_2 = \mathbf{1} \left( \mathbf{1}^T \mathbf{1} \right)^{-1} \mathbf{1}^T = \frac{1}{n} \mathbf{1} \mathbf{1}^T$ $v$ $\left( I - H_2 \right) v = v - \bar{v} \mathbf{1}$ $(*)$

— user795305
fonte

Não sei que você precisa de muita "teoria" por trás dessa abordagem. As abordagens de regressão penalizada (LASSO, cume ou sua regressão líquida elástica híbrida) são ferramentas para fazer trocas de variação de viés para melhorar a generalização e o desempenho do modelo. Você certamente pode optar por manter algumas variáveis não penalizadas, como propõe para , enquanto outras são penalizadas. Por exemplo, este artigo examinou a eficácia de uma vacina, mantendo o status de vacinação não penalizado e incorporando outras covariáveis com uma penalidade de L2 por regressão de crista. Essa abordagem evitou o ajuste excessivo nas covariáveis, permitindo a avaliação direta do principal preditor de interesse. $\beta_2$

Perguntas sobre implementações em ambientes de programação específicos não são abordadas neste site. Uma maneira geral de abordar esse problema, como no glmnetpacote em R, é incluir um fator de penalidade específico do preditor que multiplica a escolha geral de antes de avaliar a função objetivo. Os preditores têm fatores de penalidade padrão de 1, mas um preditor com um fator de penalidade especificado de 0 não seria penalizado e um com um fator de penalidade infinito sempre seria excluído. Os valores intermediários dos fatores de penalidade que diferem entre os preditores podem fornecer qualquer penalidade diferencial desejada entre os preditores. Suspeito que essa abordagem possa ser incorporada de alguma forma às ferramentas fornecidas por . $\lambda$ sklearn

— EdM
fonte

+1 Como geralmente não é especificado, mas é encontrado por outros meios, parece que é possível remover o efeito de em (ao fazer regressão de contra ), ajustar com como resposta e o ajustado como os regressores e, em seguida, execute o laço nos resíduos usando apenas como regressores. O espaço das soluções para será o mesmo, mas o parâmetro pode ser multiplicado por uma constante (inconseqüente). A solução alternativa para a regressão de Ridge é ainda mais simples .

λ

$\lambda$

X_{1}

$X_1$

X_{2}

$X_2$

X_{2}

$X_2$

X_{1}

$X_1$

β_{2}

$\beta_2$

Y

$Y$

X_{2}

$X_2$

X_{1}

$X_1$

β_{1}

$\beta_1$

λ

$\lambda$

— whuber