Por que a perda de norma L2 tem uma solução única e a perda de norma L1 tem possivelmente várias soluções?

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/

Se você olhar para o início deste post, o escritor menciona que a norma L2 tem uma solução única e a norma L1 tem possivelmente muitas soluções. Entendo isso em termos de regularização, mas não em termos do uso da norma L1 ou da norma L2 na função de perda.

Se você olhar para gráficos de funções do escalar x (x ^ 2 e | x |), poderá ver facilmente que ambos têm uma solução única.

Vamos considerar um problema unidimensional para a exposição mais simples possível. (Os casos dimensionais mais altos têm propriedades semelhantes.)

Enquanto ambos $|x-\mu|$e $(x-\mu)^2$ cada um tem um mínimo único, $\sum_i |x_i-\mu|$(uma soma das funções de valor absoluto com diferentes compensações x) geralmente não. Considere $x_1=1$ e $x_2=3$ :

$\mu$

$L_1$

$\sum_i (x_i-\mu)^2 = n(\bar{x}-\mu)^2+k(\mathbf{x})$

$L_1$

Como (fora de algumas circunstâncias específicas) você normalmente não tem essa garantia de nenhuma observação altamente influente, eu não consideraria a regressão L1 robusta.

Código R para plotagem:

 fi <- function(x,i=0) abs(x-i)
 f <- function(x) fi(x,1)+fi(x,3)
 plot(f,-1,5,ylim=c(0,6),col="blue",lwd=2)
 curve(fi(x,1),-1,5,lty=3,col="dimgrey",add=TRUE)
 curve(fi(x,3),-1,5,lty=3,col="dimgrey",add=TRUE)

Minimizar a perda de L2 corresponde ao cálculo da média aritmética, que é inequívoca, enquanto minimizar a perda de L1 corresponde ao cálculo da mediana, que é ambígua se um número par de elementos for incluído no cálculo da mediana (consulte Tendência central: soluções para problemas variacionais )