Aplicando condições de dualidade e KKT ao problema do LASSO

Estou tendo algumas dificuldades para entender como a dualidade leva à forma comum do problema do LASSO e à condição de Karush-Kuhn-Tucker chamada de folga complementar. Eu tenho duas perguntas:

1. Sabemos que, dado um problema de otimização $$\begin{align*} &\min_x f(x)\\ &s.t. \quad h_i(x) \leq 0 \, ,\quad i=1,\dots, m \end{align*}$$

resolver isso é equivalente a resolver o problema duplo

$$\begin{align*} &\max_\lambda \,\, g(\lambda) \\ &s.t. \quad \lambda \geq 0 \end{align*}$$ com $g(\lambda) = min_\lambda \bigr\{f(x) + \sum_{i=1}^m \lambda_i h_i(x)\bigr \}$

No problema do LASSO, o principal é

$$\begin{align*} &||y-X\beta ||_2^2 \\ &s.t. \,\,\,\, ||\beta ||_1 \leq t \end{align*}$$

portanto, se meu entendimento estiver correto, para o problema duplo, devemos obter

$$g(\lambda) = \min_\beta ||y-X\beta ||_2^2 + \lambda( ||\beta ||_1 -t)$$

No entanto, o problema do LASSO é sempre especificado como

$$\min_\beta ||y-X\beta ||_2^2 + \lambda ||\beta ||_1$$

o que estou perdendo? Está relacionado à derivada de uma constante, que é nula?

2. A segunda pergunta é: eu vi muitos autores apresentando a solução para o problema do LASSO apenas resolvendo a condição KKT da estacionariedade $$X^T(y-X\beta)=\lambda s$$

Entendo que, como o problema é convexo, as condições de viabilidade primária e dupla são atendidas, de qualquer maneira não vejo por que não verificamos a condição de folga complementar .

1) Você está indo na direção errada, invocando a dualidade diretamente. Pegar de

$\text{arg min}_{\beta: \|\beta\|_1 \leq t} \|y - X\beta\|_2^2$

para

$\text{arg min}_{\beta} \|y - X\beta\|_2^2 + \lambda\|\beta\|_1$

você só precisa chamar os multiplicadores Lagrange. (Veja, por exemplo , a Seção 5.1 de [1])

Os LMs são frequentemente discutidos no contexto da dualidade ao ensiná-los, mas na prática você pode simplesmente mudar diretamente de um para o outro sem considerar o problema duplo.

Se você está interessado no problema duplo do laço, isso ocorreu nos slides 12 e 13 de [2]

2) O que você provavelmente já viu é a condição de estacionariedade KKT para o laço:

$\text{arg min}\frac{1}{2}\|y - X\beta\|_2^2 + \lambda \|\beta\|_1 \Longleftrightarrow -X^T(y - X\hat{\beta}) + \lambda s = 0 \text{ for some } s \in \partial \|\hat{\beta}\|_1$

onde é chamado de subdiferencial da norma . (Esta é essencialmente apenas a condição "derivada padrão igual a zero no mínimo" do cálculo, mas ajustada para não diferenciá-la.)$\partial \|\beta\|_1$$\ell_1$

Conhecemos o subdiferencial de if então esta equação fornece uma solução exata de forma fechada para o laço, se conhecermos o suporte e o sinal da solução . Nomeadamente,$|\beta_i| = \text{sign}(\beta_i)$$\beta_i \neq 0$

$\hat{\beta}_{\hat{S}} = (X_{\hat{S}}^TX_{\hat{S}})^{-1}(X_{\hat{S}}^Ty - \lambda * \text{sign}(\hat{\beta}_{\hat{S}}))$

(Além disso: esta solução torna muito claro o efeito de "encolhimento" do laço (em comparação com o OLS).)

Obviamente, a parte mais difícil de resolver o laço é encontrar o suporte e os sinais da solução, portanto isso não ajuda muito na prática.

É, no entanto, uma construção teórica muito útil e pode ser usada para provar muitas propriedades agradáveis ​​do laço; mais importante, permite-nos usar a técnica "testemunha dupla primal" para estabelecer condições sob as quais o laço recupera o conjunto "verdadeiro" de variáveis. Veja a Seção 11.4 de [3].

[1] S. Boyd e L. Vandenberghe. Otimização convexa. Disponível em https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf

[2] http://www.stat.cmu.edu/~ryantibs/convexopt-F15/lectures/13-dual-corres.pdf.

[3] T. Hastie, R. Tibshirani, M. Wainwright. Aprendizado estatístico com escassez: o laço e as generalizações. Disponível em https://web.stanford.edu/~hastie/StatLearnSparsity_files/SLS_corrected_1.4.16.pdf