Normas

13

Uma norma é única (pelo menos em parte) porque está no limite entre não convexo e convexo. Uma norma é a norma convexa 'mais esparsa' (certo?). $L_1$ $p=1$ $L_1$

Entendo que a norma euclidiana tem raízes na geometria e tem uma interpretação clara quando as dimensões têm as mesmas unidades. Mas não entendo por que é usado preferencialmente sobre outros números reais : ? ? Por que não usar a faixa contínua completa como um hiperparâmetro? $p=2$ $p>1$ $p=1.5$ $p=\pi$

o que estou perdendo?

regression regularization sparse

— Trenton
fonte

1

"Usado preferencialmente" em quais aplicativos, especificamente? As normas são onipresentes em matemática, estatística e física; em alguns subcampos, algumas normas são mais prevalentes que outras porque são mais significativas ou mais simples de se trabalhar. Por esse motivo, as respostas a essa pergunta provavelmente serão numerosas e variadas (tão variadas, de fato, que pessoalmente acho isso irresponsável). Portanto, eu fiz deste um post "Community Wiki" (CW); mas se você tiver um aplicativo específico ou um campo restrito em mente, tornando sua pergunta mais precisa, será possível remover o status CW.

— whuber

12

Uma explicação mais matemático é que o espaço , que consiste de todas as séries que convergem em p-norma, só é Hilbert com e nenhum outro valor. Isso significa que esse espaço está completo e a norma nesse espaço pode ser induzida por um produto interno (pense no produto pontual familiar em ), por isso é um pouco melhor trabalhar com isso. $l^p$ $p=2$ $R^n$

— JohnK
fonte

4

Aqui estão algumas razões:

Está relacionado de uma maneira muito especial ao produto interno: é sua própria norma dupla (ou seja, é "auto-dual").
Isso significa que, se você considerar todos os vetores dentro da esfera de unidade , seu produto interno máximo com qualquer vetor é a norma da própria . Com menos fantasia, ela satisfaz a propriedade de que . Nenhum outro norma se comporta dessa maneira. $\ell_2$ $z$ $\ell_2$ $z$ $\lVert x\rVert_2^2 = x \cdot x$ $\ell_p$
Tem um muito gradiente convenientemente suavizar: Você realmente não pode bater isso!
$\nabla_{x} ‖ f (x) ‖_{2}^{2} = 2 \nabla f (x) \cdot f (x)$ $\nabla_x\ \lVert f(x)\rVert_2^2 = 2 \ \nabla f(x) \cdot f(x)$

— user541686
fonte

2

Embora possa haver muitos outros motivos, o AFAIK p = 2 é o preferido pelos seguintes motivos:

Medida de similaridade / dissimilaridade: Para p = 2, a norma euclidiana fornece uma medida de similaridade ou dissimilaridade entre dois vetores, que podem ser posteriormente utilizados para uma melhor compreensão dos dados. Respostas mais detalhadas sobre isso podem ser encontradas aqui .
Regularização: a norma L2 é usada para regularização no aprendizado de máquina e é preferida por duas razões: 1) É facilmente diferenciável 2) Com a regularização L2, os pesos tendem a reduzir proporcionalmente aos pesos. Portanto, a regularização L2 penaliza os pesos maiores mais em comparação com os pesos menores.

— enterML
fonte

1

Erros quadráticos em modelos lineares são frequentemente preferidos devido a:

a relação com a ortogonalidade, que se comporta bem em relação a alguns fenômenos aleatórios considerados ruído (não correlacionados)
$L_1$
produz algoritmos de otimização tratáveis à medida que a derivada se transforma em sistemas lineares

$L_1$ $\ell_1$ $\ell_p$ $0<p<1$

$\ell_0$ $\ell_0$ $0$ $\ell_p$ $1$ $\ell_p \to \ell_0$ $p\to 0$

$\ell_1 / \ell_2$ $\ell_1 / \ell_2$

— Laurent Duval
fonte