Qual é a complexidade temporal da regressão de Lasso?

Qual é a complexidade temporal assintótica da regressão de Lasso à medida que o número de linhas ou colunas cresce?

Lembre-se de que o laço é um modelo linear com uma regularização de .$l_1$

Encontrar os parâmetros pode ser formulado como um problema de otimização irrestrito, onde os parâmetros são fornecidos por

.$\arg \min_\beta ||y - X\beta||^2 + \alpha||\beta||_1$

Na formação restrita, os parâmetros são dados por

$\arg \min_\beta ||y - X\beta||^2 s.t.||\beta||_1 < \alpha$

O que é um problema de programação quadrática e, portanto, polinomial.

Quase todas as rotinas de otimização convexas, mesmo para coisas não lineares flexíveis, como redes neurais, dependem da computação da derivada dos parâmetros wrt de destino. Você não pode obter a derivada de embora. Como tal, você confia em diferentes técnicas. Existem muitos métodos para encontrar os parâmetros. Aqui está um artigo de revisão sobre o assunto, Otimização dos mínimos quadrados com regularização da norma L1 . A complexidade de tempo da otimização convexa iterativa é meio difícil de analisar, pois depende de um critério de convergência. Geralmente, problemas iterativos convergem em menos épocas à medida que as observações aumentam.$\alpha||w||_1$

Embora o @JacobMick forneça uma visão geral mais ampla e um link para um artigo de revisão, deixe-me dar uma "resposta de atalho" (que pode ser considerada um caso especial de sua resposta).

$K$$n$$\mathcal{O}(K^3 + K^2 n)$

• $K<n$$K^3 < K^2 n$$\mathcal{O}(K^2 n)$$K$
• $K \geqslant n$$K^3 \geqslant K^2 n$$\mathcal{O}(K^3)$

Referências:

• Efron, Bradley et ai. "Regressão do menor ângulo". The Annals of Statistics 32.2 (2004): 407-499.
• Schmidt, Mark. "Otimização de mínimos quadrados com regularização de norma l1." Relatório do Projeto CS542B (2005).