Solucionando problemas de otimização convexa usados para denoising de alta qualidade

8

A resposta mais votada para esta pergunta sugere que, para minimizar um sinal, preservando transições nítidas, deve-se

minimizar a função objetivo:

$| x - y |^{2} + b | f (y) |$ $|x-y|^2 + b|f(y)|$
onde é o sinal barulhento, é o sinal denoised, é o parâmetro de regularização e é alguma penalidade da norma L1. A remoção de denoising é realizada encontrando a solução para esse problema de otimização depende do nível de ruído. $x$ $y$ $b$ $|f(y)|$ $y$ $b$

No entanto, não há indicação de como se pode conseguir isso na prática, pois isso é um problema em um espaço dimensional muito alto, especialmente se o sinal tiver, por exemplo, 10 milhões de amostras. Na prática, como esse tipo de problema é resolvido computacionalmente para sinais grandes?

— John Robertson
fonte

Você está preocupado com o tempo de execução? Caso contrário, a iteratura de como minimizar uma função é bastante extensa (Levenberg-Marquardt, Nelder-Mead etc.). Existem até algumas versões modificadas feitas especificamente para isso.

— thang

Na verdade, tenho uma pergunta para as pessoas que estão respondendo abaixo. Além de lento, o que há de errado em algo como Levenberg-Marquardt ou Nelder-Mead? Estes são otimizadores generalizados, para que você possa aproximar numericamente

.

f

$f$

— thang

Sim, estou preocupado com o tempo de execução, mas obrigado por apontar esses métodos.

— John Robertson

6

Boyd tem um solucionador Matlab para problemas de mínimos quadrados Large1-regularizados em larga escala . A formulação do problema é um pouco diferente, mas o método pode ser aplicado para o problema.

A abordagem clássica de minimização de majoração também funciona bem. Isso corresponde à execução iterativa de limiar suave ( para TV, recorte ).

As soluções podem ser vistas nos links. No entanto, existem muitos métodos para minimizar esses funcionais pelo uso extensivo da literatura de otimização.

PS: Como mencionado em outros comentários, o FISTA funcionará bem. Outra família de algoritmos "muito rápidos" são os algoritmos primal-duplo. Você pode ver o artigo interessante de Chambolle, por exemplo, no entanto, existem inúmeros trabalhos de pesquisa sobre métodos primal-duplos para formulações lineares de problemas inversos.

— Deniz
fonte

A que 'primal-dual' se refere exatamente?

— Spacey

Mohammad, não implementei nenhum algoritmo primal-duplo para problemas inversos. No entanto, você pode ver um exemplo no link que mencionei na resposta: o artigo de Chambolle. Neste artigo, você pode ver o que significa um algoritmo primal-duplo com precisão. Esses métodos fornecem apenas outra solução (e rapidamente convergente) para problemas inversos.

— Deniz #

f

$f$

ℓ_{1}

$\ell_1$

4

Para resolver problemas de otimização com penalidade de TV, usamos um algoritmo proposto recentemente chamado Algoritmos Baseados em Gradiente Rápido para Problemas de Denoising e Deblurring de Imagem de Variação Total Restrita (FISTA) , que possui melhor taxa de convergência que os métodos iterativos convencionais, como o ASD-POCS.

— chaohuang
fonte

11

É possível adicionar mais informações sobre o algoritmo, pois a única referência que você vinculou exige a compra do artigo?

— Jason R

iew3.technion.ac.il/~becka/papers/71654.pdf

— chaohuang

@ JasonR, é basicamente a aceleração de Nesterov do Proxoperador. Trabalho muito bom.

— Royi 18/10/19

3

$f(y)=\|y\|_1$

‖ x - y ‖^{2} + b ‖ y ‖_{1} = \sum_{i} (x_{i} - y_{i})^{2} + b \sum_{i} | y_{i} |,

$\|x-y\|^2 + b\|y\|_1 = \sum_i(x_i - y_i)^2 + b\sum_i |y_i|,$

minimizá-lo requer minimizar cada entrada da soma:

\hat{y_{i}} = a r g m i n {(x_{i} - y_{i})^{2} + b | y_{i} |}

$\hat{y_i} = argmin \{(x_i-y_i)^2 + b|y_i|\}$

$b$

Portanto, neste caso, acho que você não precisa de um solucionador mais sofisticado para estimar seu sinal.

— Alejandro
fonte

L^{1}

$L^1$

| y_{i} |

$\vert y_i\vert$

| y_{i + 1} - y_{i} |

$\vert y_{i+1}-y_i\vert$

ℓ_{1}

$\ell_1$

f

$f$

f

$f$

f (x_{0}, x_{1}, . . .) = (x_{1} - x_{0}, x_{2} - x_{1}, . . .)

$f(x_0,x_1,...)=(x_1-x_0,x_2-x_1,...)$

f (y)

$f(y)$

ℓ_{1}

$\ell_1$

2

$f(x) = \ell_1(x) = \sum |x_i|$
$\qquad\qquad$ $\| Ax - b \|_2^2 + \lambda \|x\|_1$
$\|x\|_1$ $\|x\|_2$ $x_i$
$x$ $y$

f (x) = ℓ_{1}

$f(x) = \ell_1$

$x_i = 0$

$\|Ax - b\|$
$x_i = 0$

Essa é uma forma de mínimos quadrados ponderados iterativamente , com pesos de 0 ou 1. Eu esperaria que os métodos nos artigos citados nas respostas anteriores apresentem melhores resultados; isso é simples.

$f() + \lambda g()$ $f()$ $\lambda g()$

— denis
fonte

Solucionando problemas de otimização convexa usados ​​para denoising de alta qualidade

Solucionando problemas de otimização convexa usados para denoising de alta qualidade