Expressando a restrição de regressão do LASSO via parâmetro de penalidade

Dadas as duas formulações equivalentes do problema para a regressão do LASSO, e tais que , como podemos expressar a -para-um entre e ? $\min(RSS + \lambda\sum|\beta_i|)$ $\min(RSS)$ $\sum|\beta_i|\leq t$ $\lambda$ $t$

lasso

— Stefan Atanasov
fonte

Possível duplicado de KKT contra formulação irrestrita de lasso de regressão

— user795305

Você pode usar os multiplicadores Lagrange para alternar entre essas duas formulações.

A resposta para sua pergunta segue da consideração da dualidade lagrangiana. Isso foi trabalhado no post que considero duplicado no meu comentário no post do OP. A seguir, descubro o que considero uma derivação mais perspicaz.

Na verdade, quando estamos resolvendo um laço, tentamos minimizar conjuntamente e . Ou seja, buscamos . Isso não parece bem definido no momento, pois sabemos que há alguma tensão entre esses dois objetivos. É isso que as pessoas de otimização chamam de otimização multicritério . Vamos visualizar esse problema plotando para muitos 's. (Observe que aqui , , foi inicializado aleatoriamente e o verdadeiro coeficiente $\frac{1}{2n} \|y - X \beta\|_2^2 = RSS$ $\|\beta\|_1$ $\arg\min_\beta (\frac{1}{2n} \|y - X \beta\|_2^2, \|\beta\|_1)$ $\left(\frac{1}{2n} \|y - X \beta\|_2^2, \|\beta\|_1 \right)$ $\beta$ $p=5$ $n=100$ $X$ $\beta^*$ tem aproximadamente um quarto das entradas iguais a zero.)

Aqui, e . Ou seja, o eixo vertical mede a falta de ajuste e o eixo horizontal mede o tamanho do coeficiente. Observe que cortei a parte superior da imagem por uma questão de clareza. $F = \|\beta\|_1$ $G = \frac{1}{2n} \|y - X \beta\|_2^2$

Os pontos no canto inferior esquerdo da plotagem são os que nos interessam. Esses correspondem aos valores de que possuem a norma pequena e possuem um pequeno erro. De fato, para os pontos no canto inferior esquerdo, não há com o mesmo tamanho e tamanho menor ou o mesmo tamanho com melhor tamanho. Para escolher entre esses pontos, chamados pontos ótimos de pareto , precisamos determinar a importância relativa do ajuste e tamanho, nossos dois objetivos. Isso deve nos lembrar dos parâmetros de ajuste ou no laço irrestrito ou restrito, respectivamente. Abaixo, plotamos em verde algumas soluções de laço, computadas a partir do glmnet, impostas no gráfico acima. $\beta$ $\ell_1$ $\beta$ $\lambda$ $C$

Observe que o laço encontrou exatamente os pontos ótimos de pareto. Isso é muito surpreendente! Como um objetivo multidimensional foi otimizado por um objetivo unidimensional? O processo é chamado de escalarização: pegamos pesos e formamos o problemaQuando ambos os objetivos são convexos, como eles estão aqui, esse problema escalarizado encontra todos os pontos ideais de pareto. $\mu_1, \mu_2 \geq 0$

\arg min_{β \in R^{p}} μ_{1} (\frac{1}{2 n} ‖ y - X β ‖_{2}^{2}) + μ_{2} ‖ β ‖_{1} .

$\arg\min_{\beta \in \mathbb{R}^p} \mu_1 \left( \frac{1}{2n} \|y-X\beta\|_2^2 \right) + \mu_2 \|\beta\|_1.$

Assumindo , que assume que ambos os objetivos estão sendo considerados e escrevendo , temos que isso é apenas o laço , em sua forma usual. Pela dualidade lagrangiana, sabemos que existe de para que, em vez disso, possamos resolver o problema equivalente que . $\mu_1 \neq 0$ $\lambda = \frac{\mu_2}{\mu_1}$ $\hat{\beta}^\textrm{unc} = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y-X\beta\|_2^2 + \lambda \|\beta\|_1,$ $C$ $\hat{\beta}^\textrm{con} = \arg\min_{\beta : \|\beta\|_1 \leq C} \frac{1}{2n} \|y-X\beta\|_2^2,$ $\hat{\beta}^\textrm{con} = \hat{\beta}^\textrm{unc}$

Agora que entendemos melhor o que estamos tentando resolver e ter uma boa visualização, vamos agora concentrar-se em encontrar uma relação entre os parâmetros de ajuste e . $\lambda$ $C$

Para um determinado valor de , a estimativa do laço restrito Será um desses pontos verdes no gráfico acima. A maneira como Pode ser encontrada é fixando-se em (para o menor coeficiente de quadrados) e descendo até obter a menor medida possível de falta de ajuste. Ou seja,Como vimos acima, corresponde a uma escalarização do nosso objetivo de vetor e, portanto, é igual à inclinação neste momento: $C$ $\hat{\beta}^\textrm{con.}$ $\hat{\beta}^\textrm{con.}$ $\|\beta\|_1 = \mathrm{min}\{C, \|\hat{\beta}_\mathrm{LS}\|_1\}$ $\hat{\beta}_\mathrm{LS}$

C = ‖ {\hat{β}}^{unc} ‖_{1} .

$C = \|\hat{\beta}^\textrm{unc}\|_1.$

λ

$\lambda$

λ = - \frac{\partial \frac{1}{2 n} ‖ y - X β ‖_{2}^{2}}{\partial ‖ β ‖_{1}} ∣_{β = {\hat{β}}^{con}}

$\lambda = -\frac{\partial \frac{1}{2n} \|y - X \beta\|_2^2}{\partial \|\beta\|_1} \mid_{\beta = \hat{\beta}^\textrm{con}}$ (Observe que esta fórmula parece estar correta apenas até constantes. O correto pode ser encontrado rapidamente nas condições de primeira ordem, mas eu gostaria de encontrar uma maneira de motivá-la diretamente a partir dessa estrutura.) Isso corresponde (via regra da cadeia) à primeira resposta no post que eu vinculei como uma possível duplicata.

λ

$\lambda$

— user795305
fonte