Parâmetro de regularização LASSO do algoritmo LARS

Em seu artigo seminal 'Regressão a Menor Ângulo' , Efron et al descrevem uma modificação simples do algoritmo LARS que permite calcular caminhos completos de regularização do LASSO.

Eu implementei essa variante com êxito e geralmente plotei o caminho de saída em relação ao número de etapas (iterações sucessivas do algoritmo LARS) ou à -norm dos coeficientes de regressão ( ). $l_1$ $\Vert \beta \Vert_1$

No entanto, parece que a maioria dos pacotes disponíveis fornece o caminho de regularização em termos do coeficiente de penalização do LASSO $\lambda$ (por exemplo, LARS em R, onde você pode brincar com o argumento 'mode' para alternar entre diferentes representações).

Minha pergunta é: qual é a mecânica usada para alternar de uma representação para outra (s). Eu já vi várias perguntas relacionadas a isso (ou mais especificamente, a questão de mapear a restrição de desigualdade $\Vert \beta \Vert_1 \leq t$ para um termo de penalização apropriado $\lambda \Vert \beta \Vert_1$ ), mas não encontrei resposta satisfatória.

[Editar]

Eu procurei dentro de algum código MATLAB que executa a transformação necessária e, para cada etapa LARS $k$ , é assim que $\lambda$ parece ser calculado:

λ (k) = max (2 | X^{T} y |), for k = 1

$\lambda(k) = \max( 2 \vert X^T y \vert ),\ \ \ \text{for } k=1$

λ (k) = median (2 | X_{A_{k}}^{T} r_{A_{k}} |), \forall k > 1

$\lambda(k) = \text{median}( 2 \vert X_{\mathcal{A}_k}^T r_{\mathcal{A}_k} \vert ),\ \ \ \forall k > 1$

onde $X$ (tamanho $n \times p$ ) e $y$ (tamanho $n \times 1$ ) denotam as entradas / respostas padronizadas, $\mathcal{A}_k$ representa o conjunto de preditores ativos na etapa $k$ e $r$ representa a regressão atual residual na etapa $k$ .

Não consigo entender a lógica por trás desse cálculo. Alguém poderia ajudar?

— Quantuple
fonte

Eu descobri como realizar a conversão necessária.

Suponha que as entradas sejam padronizadas (média zero, variação unitária) e as respostas sejam centralizadas. $X$ $y$

Sabemos que o algoritmo LARS modificado fornece o caminho completo de regularização do LASSO, cf. artigo original de Efron et al .

Isso significa que, a cada iteração , o algoritmo anterior encontra um par ideal minimizando a função de perda regularizada: $k$ $(\beta^*, \lambda^*)$

\begin{aligned} (β^{*}, λ^{*}) & = {argmin}_{(β, λ)} L (β, λ) \\ L (β, λ) & = ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ = \sum_{i = 1}^{N} {(y_{i} - \sum_{j = 1}^{p} β_{j} X_{i j})}^{2} + λ \sum_{j = 1}^{p} | β_{j} | \end{aligned}

$\begin{align} (\beta^*, \lambda^*) &= \text{argmin}_{(\beta,\lambda)} L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \\ &= \sum_{i=1}^N \left(y_i - \sum_{j=1}^p \beta_j X_{ij}\right)^2 + \lambda \sum_{j=1}^p \vert \beta_j \vert \end{align}$

Para todos os componentes ativos no conjunto ativo no final da etapa , aplicar a condição de estacionariedade KKT fornece $a=\{1,...,q\}$ $\mathcal{A}_k$ $k$

\begin{aligned} 0 & = \frac{\partial L}{\partial β_{a}} (β^{*}, λ^{*}) \\ = - 2 \sum_{i = 1}^{N} X_{i a} (y_{i} - \sum_{j = 1}^{q} β_{j}^{*} X_{i j}) + λ^{*} sign (β_{a}^{*}) \end{aligned}

$\begin{align} 0 &= \frac{\partial L}{\partial \beta_a}(\beta^*,\lambda^*) \\ &= -2 \sum_{i=1}^N X_{ia} \left(y_i - \sum_{j=1}^q \beta_j^* X_{ij}\right) + \lambda^*\ \text{sign}(\beta_a^*) \end{align}$

Em outras palavras, ou em notações matriciais (observando que dividir / multiplicar por é o mesmo) a seguinte equação é satisfeita para qualquer componente ativo :

λ^{*} = 2 \frac{\sum_{i = 1}^{N} X_{i a} (y_{i} - \sum_{j = 1}^{q} β_{j}^{*} X_{i j})}{sign (β_{a}^{*})}

$\lambda^* = 2 \frac{\sum_{i=1}^N X_{ia} \left(y_i - \sum_{j=1}^q \beta_j^* X_{ij}\right)}{\text{sign}(\beta_a^*)}$

sign (x)

$\text {sign}(x)$ $a$

λ^{*} = 2 sign (β_{a}^{*}) X_{a}^{T} r

$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T r$

No artigo original, os autores mencionam que, para qualquer solução para o problema do LASSO, o sinal de um peso de regressão ativo ( ) deve ser idêntico ao sinal da correlação do preditor ativo correspondente com a atual regressão residual ( ), que é apenas lógica, pois deve ser positivo. Assim, também podemos escrever: $\beta_a^*$ $X_a^T r$ $\lambda^*$

λ^{*} = 2 | X_{a}^{T} r |

$\lambda^* = 2 \vert X_a^T r \vert$

Além disso, vemos que na etapa final (ajuste OLS, ), obtemos devido ao lema da ortogonalidade. O uso da mediana na implementação do MATLAB que encontrei no IMHO parece um esforço para 'calcular' os erros numéricos em todos os componentes ativos: $k$ $\beta^* = (X^TX)^{-1}X^T y$ $\lambda^* = 0$

$λ^{*} = median (2 | X_{A_{k}}^{T} r_{A_{k}} |), \forall k > 1$ $\lambda^* = \text{median}( 2 \vert X_{\mathcal{A}_k}^T r_{\mathcal{A}_k} \vert ),\ \ \ \forall k > 1$

Para calcular o valor de quando não há componentes ativos (etapa ), pode-se usar o mesmo truque acima, mas no limite infinitesimal em que todos os pesos de regressão são zero e apenas o sinal do primeiro componente se torna assuntos ativos (na etapa ). Isso produz: $\lambda$ $k=1$ $b$ $k=2$

λ^{*} = 2 sign (β_{b}^{*}) X_{b}^{T} y

$\lambda^* = 2 \ \text{sign}(\beta_b^*) X_b^T y$ que é estritamente equivalente a

$λ^{*} = max (2 | X^{T} y |), for k = 1$ $\lambda^* = \max(2 \vert X^T y \vert), \text { for } k=1$

porque (i) a mesma observação anterior sobre o sinal de pesos de regressão; (ii) o algoritmo LARS determina o próximo componente para entrar no conjunto ativo como aquele que é o mais correlacionado com o residual atual , que na etapa é simplesmente . $b$ $k=1$ $y$

— Quantuple
fonte

Isso é algo que é mencionado em todos os trabalhos do LASSO, mas ninguém se importa em explicá-lo (não sei se é muito básico ou o quê, mas levei muito tempo para descobrir). Eu só quero enfatizar que, embora "equivalente", você só pode ir de uma formulação para outra (restrita a irrestrita e vice-versa) depois de ter resolvido o problema de otimização e ter os pesos ideais.

— Skd #

Eu sinto o mesmo! No que diz respeito à sua observação, sim, de fato. Aqui, isso se reflete no resíduo , que só pode ser calculado depois que os pesos de regressão ideais forem obtidos no final da etapa .

r_{A_{k}}

$r_{\mathcal{A}_k}$

β_{k}

$\beta_k$

k

$k$

— Questão