Regressão linear esparsa 0-norma e 1-norma

Temos uma resposta e preditores$Y \in \Bbb R^n$$X = (x_1, x_2, \cdots, x_m)^T \in \Bbb R^{n \times m}$

O problema que queremos resolver é

$$\text{argmin}_{k \in \Bbb R^{m}} (\Vert Y - Xk \Vert_2^2 + \lambda \Vert k \Vert_0) \rightarrow k_0$$

No entanto, é difícil para NP; portanto, resolvemos

$$\text{argmin}_{k \in \Bbb R^{m}} (\Vert Y - Xk \Vert_2^2 + \lambda \Vert k \Vert_1) \rightarrow k_1$$

Neste artigo "Aprendendo descritores físicos para ciência dos materiais por sensor comprimido" , diz-se que

com recursos altamente correlacionados, $\lambda \Vert k \Vert_1$ pode não ser uma boa aproximação para $\lambda \Vert k \Vert_0$

Minhas perguntas:

Ambos $\lambda \Vert k \Vert_0$ e $\lambda \Vert k \Vert_1$ colocar uma restrição no número de componentes diferentes de zero do vector de $k$ . Mas quando os recursos são correlacionados, qual é a vantagem do $k$ encontrado por $\lambda \Vert k \Vert_0$ ?

Além disso, existe um exemplo intuitivo que demonstra o ponto que citei acima?

1. Se os recursos estiverem correlacionados, você deve usar uma rede elástica e não um laço.
2. Aproximadamente, se dois recursos são correlacionados, o laço escolheria o recurso sobre se tiver a melhor recompensa na função de perda, isso significa um valor absoluto menordo coeficiente de regressão juntamente com uma boa diminuição no erro de previsão .$i$$j$$|\beta_i|$$||y-X\beta||_2$
3. Por outro lado, o pena com base -norm escolheria o recurso sobre se conduzir a uma boa redução no erro de previsão única , pois o tamanho do coeficiente não importa, apenas se for diferente de zero (lembre-se , ).$l_0$$i$$j$$||\beta||_0=\#\lbrace\beta_k\neq0\rbrace$
4. Agora, minha intuição seria que as - e - são igualmente ruins na previsão de coeficientes de regressão corretos se os recursos estiverem correlacionados. A prova do Teorema 2 neste artigo deve ilustrar por que esse é realmente o caso. Isso estaria em contradição com a afirmação e o exemplo do artigo que você citou.$l_1$$l_0$