Confusão sobre o problema de detecção compactada

13

Eu li algumas referências, incluindo isso .

Estou meio confuso com o problema de otimização que o sensor compactado cria e tenta resolver. É isso

\begin{array}{ll} minimize & ‖ x ‖_{1} \\ subject to & A x = b \end{array}

$\begin{array}{ll} \text{minimize} & \|x\|_1\\ \text{subject to} & Ax=b\end{array}$

ou e

\begin{array}{ll} minimize & ‖ x ‖_{0} \\ subject to & A x = b \end{array}

$\begin{array}{ll} \text{minimize} & \|x\|_0\\ \text{subject to} & Ax=b\end{array}$

ou / e algo mais?

optimization

— Tim
fonte

18

Brian está no local. Mas acho útil adicionar algum contexto de detecção compactado.

Primeiro, observe que a chamada norma 0 - a função de cardinalidade ou o número de valores diferentes de zero em - não é uma norma . Provavelmente, é melhor escrevê-lo como algo como em qualquer coisa, menos nos contextos mais casuais. Não me interpretem mal, você está em boa companhia quando usa a abreviação , mas acho que tende a gerar confusão. $\|x\|_0$ $x$ $\mathop{\textbf{card}}(x)$ $\|x\|_0$

As pessoas sabem há muito tempo que minimizar a norma tende a produzir soluções esparsas. Existem algumas razões teóricas para isso que têm a ver com complementaridade linear. Mas o mais interessante não foi que as soluções eram escassas, mas que eram frequentemente as mais escassas possíveis . Ou seja, minimizar realmente fornece a solução de cardinalidade mínima em certos casos úteis. (Como eles descobriram isso, quando o problema mínimo de cardinalidade é NP-difícil? Ao construir problemas artificiais com soluções esparsas conhecidas.) Isso não era algo que a teoria da complementaridade linear pudesse prever. $\ell_1$ $\|x\|_1$ $\|x\|_1$

O campo do sensor comprimido nasceu quando os pesquisadores começaram a identificar condições na matriz que lhes permitiam garantir antecipadamente que a solução também era a mais escassa. Veja, por exemplo, os primeiros artigos de Candés, Romberg e Tao e outras discussões sobre a propriedade Restricted isometry, ou RIP . Outro site útil, se você realmente quiser se aprofundar em alguma teoria, é a página de sensores comprimidos de Terence Tao . $A$ $\ell_1$

— Michael Grant
fonte

12

Gostaríamos muito de poder resolver

$\min \| x \|_{0}$

st

$Ax=b$

mas este problema é um problema de otimização combinatória NP-rígido que é impraticável para resolver na prática, quando , , e são de tamanhos típicos na detecção de compressão. É possível resolver com eficiência $A$ $x$ $b$

$\min \| x \|_{1}$

st

$Ax=b$

tanto na teoria (isso pode ser feito em tempo polinomial) quanto na prática computacional, mesmo para problemas razoavelmente grandes que surgem no sensor de compressão. Nós usamos como um "substituto" para o . Isso tem alguma justificativa intuitiva (a minimização de uma norma prefere soluções com menos entradas diferentes de zero em ), bem como justificativas teóricas muito mais sofisticadas (teoremas da forma "Se tem uma solução k-esparsa, minimizando encontrará essa solução com alta probabilidade. " $\| x \|_{1}$ $\| x \|_{0}$ $x$ $Ax=b$ $\| x \|_{1}$

Na prática, como os dados geralmente são barulhentos, a restrição exata geralmente é substituída por uma restrição do formato . $Ax=b$ $\| Ax - b \|_{2} \leq \delta$

Também é bastante comum trabalhar com uma forma variacional do problema restrito, onde, por exemplo, podemos minimizar . $\min \| Ax - b\|_{2}^{2} + \lambda \| x \|_{1}$

— Brian Borchers
fonte

8

Não tenho nada a acrescentar à explicação de Brians e Michaels sobre vs. . Mas como a pergunta parece ser sobre a detecção compactada, gostaria de acrescentar meu ponto de vista: a detecção compactada não é sobre resolver $\ell^1$ $\ell^0$ nemcerca de

min ‖ x ‖_{0} s.t A x = b

$\min\|x\|_0\quad\text{s.t}\quad Ax=b$

A detecção compactada é mais umparadigma, que pode ser declarado muito

min ‖ x ‖_{1} s.t. A x = b .

$\min\|x\|_1\quad\text{s.t.}\quad Ax=b.$

É possível identificar sinais esparsos a partir de algumas medições.

O Sensor de compressão é realmente sobre o menor número possível de medições para identificar um sinal em uma determinada classe de sinais.

Uma frase cativante é:

Por que sua câmera de 5 megapixels realmente mede 15 milhões de valores (três para cada pixel) que custam 15 megabytes de dados quando ela armazena apenas cerca de 2 megabytes (após a compactação)?
Seria possível medir os 2 megabytes imediatamente?

Existem estruturas bastante diferentes possíveis:

medições lineares
não lineares (por exemplo, "sem fases")
dados vetoriais, dados matriciais / tensores
escarsidade como apenas o número de não-zeros
esparsidade como "baixa patente" ou mesmo "baixa complexidade").

E também existem mais métodos para calcular soluções esparsas, como busca de correspondência (variantes como busca de correspondência ortogonal (OMP), busca de correspondência ortogonal regularizada (ROMP), CoSaMP) ou os métodos mais recentes baseados em algoritmos de transmissão de mensagens .

$\ell^1$ $\ell^0$

Se alguém, no entanto, está interessado apenas em obter soluções esparsas para sistemas lineares, faz algo que eu chamaria de reconstrução esparsa .

— Dirk
fonte

Obrigado! Você pode reformular o seguinte na formulação matemática: "É possível identificar sinais esparsos a partir de algumas medições. O Sensor Compressed é realmente sobre o mínimo de medições possível para identificar um sinal em uma determinada classe de sinais".

— Tim

1

Não, não posso, porque o Compressed Sensing não é uma teoria matemática, mas um conceito de engenharia.

— quer

1

Penso que esta resposta é uma boa contribuição e votei a favor. Quanto à frase cativante, porém, eu sempre tive um problema com ela. Isso sugere que o CS é tão poderoso que você pode jogar fora 13 milhões de pixels e recuperar a imagem de qualquer maneira. Mas não, você nunca deve descartar dados aleatoriamente, mesmo em um sistema CS - um bom algoritmo de recuperação sempre pode usar mais dados. A promessa de CS é o potencial para desenvolver sensores que coletam menos dados em primeiro lugar , em troca de algumas importantes economias práticos: economia de energia, coleta mais rápida, etc.

— Michael Grant

@ MichaelGrant Eu concordo: não jogue fora os dados que você já mediu e use a data que você pode medir com o mínimo esforço.

— quer