Quais são

Ultimamente, tenho visto muitos trabalhos sobre representações esparsas, e a maioria deles usa a norma $\ell_p$ e faz alguma minimização. Minha pergunta é, qual é o $\ell_p$ norma, e o $\ell_{p, q}$ norma mista? E como eles são relevantes para a regularização?

obrigado

machine-learning regularization sparse

— água
fonte

$\ell_p$

‖ \vec{x} ‖_{p} = {(\sum_{i = 1}^{d} | x_{i} |^{p})}^{1 / p}

$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$

p = 2

$p=2$

‖ \vec{x} - \vec{y} ‖_{2}

$\|\vec x - \vec y\|_2$

p = \infty

$p = \infty$

‖ \vec{x} ‖_{\infty} = sup_{i} x_{i}

$\|\vec x\|_\infty = \sup_i x_i$

max_{i} x_{i}

$\max_i x_i$

p

$p$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$

0 < p < 1

$0 < p < 1$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$

(Também existem normas , que são definidas de forma análoga, exceto para funções em vez de vetores ou sequências - na verdade, é a mesma coisa, pois vetores são funções com domínios finitos.) $L_p$

Não conheço nenhum uso de uma norma em um aplicativo de aprendizado de máquina em que , exceto em que . Geralmente você vê ou , ou às vezes onde deseja relaxar o caso ; não é estritamente convexo em , mas é, para . Isso pode facilitar a localização da solução em alguns casos. $p > 2$ $p = \infty$ $p = 2$ $p = 1$ $1 < p < 2$ $p = 1$ $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_p$ $1 < p < \infty$

No contexto da regularização, se você adicionar à sua função objetivo, o que você está dizendo é que espera que seja escasso , ou seja, composto principalmente de zeros. É um pouco técnico, mas basicamente, se houver uma solução densa , provavelmente haverá uma solução mais esparsa com a mesma norma. Se você espera que sua solução seja densa, você pode adicionar ao seu objetivo, porque é muito mais fácil trabalhar com sua derivada. Ambos têm o objetivo de impedir que a solução tenha muito peso. $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_2^2$

A norma mista surge quando você está tentando integrar várias fontes. Basicamente, você deseja que o vetor da solução seja composto de várias partes , onde é o índice de alguma fonte. A é apenas a -norm de todas as -norms coletadas em um vetor. Ou seja, $\vec{x}^j$ $j$ $\ell_{p,q}$ $q$ $p$

‖ \vec{x} ‖_{p, q} = {(\sum_{j = 1}^{m} {(\sum_{i = 1}^{d} | x_{i}^{j} |^{p})}^{q / p})}^{1 / q}

$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$

O objetivo disso não é "oversparsify" um conjunto de soluções, digamos, usando . As peças individuais são escassas, mas você não corre o risco de destruir um vetor de solução inteiro, pegando o número de todas as soluções. Então você usa o -norm do lado de fora. $\|\vec x\|_{1,2}$ $1$ $2$

Espero que ajude.

Veja este documento para mais detalhes.

— Josephine Moeller
fonte

+1 para a explicação de normas mistas. Eu nunca os entendi.

— Suresh Venkatasubramanian

(+1) Boa resposta. Bem-vindo ao CrossValidated, John!

— MånsT