Tamanho da etapa de descida de gradiente adaptável quando você não pode fazer uma pesquisa de linha

Eu tenho uma função objetiva dependente de um valor , onde é a solução para um PDE. Estou otimizando por descida gradiente na condição inicial do PDE: . Ou seja, atualizo e, em seguida, tenho que integrar o PDE para calcular meu residual. Isso significa que, se eu fizesse uma pesquisa de linha para o tamanho da etapa de descida do gradiente (chame-o ), para cada valor potencial de eu teria que integrar o PDE novamente. $E$ $\phi(x, t = 1.0)$ $\phi(x, t)$ $E$ $\phi(x, t = 0.0)$ $\phi(x, t = 0.0)$ $\alpha$ $\alpha$

No meu caso, isso seria proibitivamente caro. Existe outra opção para o tamanho da etapa de descida de gradiente adaptável?

Não estou apenas procurando esquemas de princípios matemáticos aqui (embora, é claro, seja melhor que algo exista), mas ficaria feliz com qualquer coisa que geralmente seja melhor do que um tamanho de passo estático.

Obrigado!

optimization pde conjugate-gradient

— NLi10Me
fonte

Acho que não quero modificar a maneira como integro o PDE no momento, pois para mim isso seria uma grande reescrita de código. Além disso, não é tanto que o PDE seja complicado, pois preciso resolvê-lo em uma grade muito densa no espaço-tempo, pois preciso de precisão numérica muito alta.

— NLi10Me

Por outro lado, o método BB (com o qual eu não estava familiarizado) parece muito bom; tudo o que tenho que fazer é acompanhar o estado e o gradiente da iteração anterior e recebo uma aproximação de segunda ordem ... isso parece muito bom. No entanto, a derivação assume um quadrático convexo e meu problema quase certamente não é. No entanto, certamente também estou encontrando (e satisfeito com) mínimos locais e não globais. Você sabe o desempenho do BB em problemas dimensionais muito altos?

— NLi10Me 14/07/2016

Acho que o que eu quis dizer sobre mínimos locais é que, na vizinhança de um mínimo local, nenhuma função é aproximadamente quadrática? Eu acho que meu estado inicial é suficientemente próximo ao mínimo, pois em muitos casos eu recebo uma convergência suave, mesmo com o tamanho estático da etapa. Portanto, apesar de ter uma dimensão muito alta e, em geral, se você considerar todo o espaço de pesquisa, o problema não é convexo / não quadrático, o BB ainda pode ser uma boa escolha sem pesquisa de linha?

ϕ^{(0)} (x, t = 0.0)

$\phi^{(0)}(x, t = 0.0)$

— NLi10Me 14/07/2016

Os outros "ingredientes" para são dados experimentais de imagem. tenta distorcer uma imagem para "corresponder" à outra (medida por alguns funcionais correspondentes, como a norma L2 integrada sobre voxels). Para alguns pares de imagens, obtenho uma convergência suave com (minha escolha atual de) tamanho de passo estático. Para outros pares de imagens, fico bastante oscilante. O sistema precisa ser totalmente automatizado, por isso não posso voltar e editar manualmente o tamanho da etapa para pares de imagens problemáticos.

E

$E$

ϕ (x, t = 1.0)

$\phi(x, t = 1.0)$

— NLi10Me

Certo, tenho que resolver o sistema adjacente para obter o gradiente (que é um sistema mais desagradável e leva mais tempo). Ok, acho que vou tentar o BB com a pesquisa de linha de retorno. Obrigado muito muito para o conselho; meus consultores costumam ser difíceis de encontrar e muitos deles não estão interessados na implementação, mas apenas no modelo. Estou descobrindo que os métodos numéricos são o componente crucial para demonstrar se um modelo é bom ou não em primeiro lugar, então obrigado novamente, eu realmente aprecio isso.

— NLi10Me 14/07

Começarei com uma observação geral: informações de primeira ordem (ou seja, usando apenas gradientes que codificam a inclinação) podem fornecer apenas informações direcionais: podem dizer que o valor da função diminui na direção da pesquisa, mas não por quanto tempo . Para decidir até onde ir na direção da pesquisa, você precisa de informações adicionais (a descida do gradiente com comprimentos de passo constantes pode falhar, mesmo para problemas quadráticos convexos). Para isso, você basicamente tem duas opções:

Use as informações de segunda ordem (que codificam a curvatura), por exemplo, usando o método de Newton em vez da descida gradiente (para a qual você sempre pode usar o comprimento da etapa suficientemente perto do minimizador). $1$
Tentativa e erro (com o que, é claro, quero dizer usando uma pesquisa de linha adequada , como o Armijo).

Se, enquanto você escreve, você não tem acesso a segundas derivadas e a avaliação da função objetiva é muito cara, sua única esperança é comprometer-se: use informações aproximadas de segunda ordem suficientes para obter uma boa extensão de etapa candidata para que uma linha a pesquisa precisa apenas de avaliações (ou seja, no máximo um múltiplo constante (pequeno) do esforço necessário para avaliar seu gradiente). $\mathcal{O}(1)$

Uma possibilidade é usar comprimentos de passo Barzilai - Borwein (veja, por exemplo, Fletcher: no método Barzilai-Borwein . Otimização e controle com aplicativos, 235–256, Appl. Optim., 96, Springer, Nova York, 2005 ). A idéia é usar uma aproximação de diferença finita da curvatura ao longo da direção da busca para obter uma estimativa do tamanho da etapa. Especificamente, escolha arbitrário, defina e, em seguida, para : $\alpha_0>0$ $g^0:=\nabla f(x^0)$ $k=0,...$

Conjunto e $s^k = -\alpha_k^{-1} g^k$ $x^{k+1}=x^k+s^k$
$g^{k+1}=\nabla f(x^{k+1})$ $y^k = g^{k+1}-g^{k}$
$\alpha_{k+1} = \frac{(y^k)^Ty^k}{(y^k)^Ts^k}$

$f(x^{k+1})$ $f(x^k)$ $\sigma_k \in (0,\alpha_k^{-1})$

f (x^{k} - σ_{k} g^{k}) \leq max_{max (k - M, 1) \leq j \leq k} f (x^{j}) - γ σ_{k} (g^{k})^{T} g^{k},

$f(x^k - \sigma_k g^k) \leq \max_{\max(k-M,1)\leq j\leq k} f(x^j) - \gamma \sigma_k (g^k)^Tg^k,$ onde é o parâmetro típico de Armijo e controla o grau de monotonicidade (por exemplo, ). Há também uma variante que usa valores de gradiente em vez de valores de função, mas no seu caso, o gradiente é ainda mais caro de avaliar do que a função, portanto, não faz sentido aqui. (Observação: é claro que você pode tentar aceitar cegamente o comprimento dos passos do BB e confiar na sua sorte, mas se precisar de algum tipo de robustez - como você escreveu em seus comentários - seria uma péssima idéia).

γ \in (0, 1)

$\gamma\in(0,1)$

M

$M$

M = 10

$M=10$

Uma abordagem alternativa (e, na minha opinião, muito melhor) seria usar essa aproximação de diferenças finitas já no cálculo da direção da pesquisa; isso é chamado de método quase-Newton . A idéia é construir incrementalmente uma aproximação do Hessian usando diferenças de gradientes. Por exemplo, você pode (a matriz de identidade) e, para resolve e defina com como acima e . (Isso é chamado atualização Broyden $\nabla^2 f(x^k)$ $H_0=\mathrm{Id}$ $k=0,\dots$

\begin{matrix} (1) & H_{k} s^{k} = - g^{k}, \end{matrix}

$H_{k}s^{k} = -g^{k},\label{cc1}\tag{1}$

H_{k + 1} = H_{k} + \frac{(y^{k} - H_{k} s^{k})^{T} (s^{k})^{T}}{(s^{k})^{T} s^{k}}

$H_{k+1} = H_k + \frac{(y^k-H_ks^k)^T(s^k)^T}{(s^k)^Ts^k}$

y^{k}

$y^k$

x^{k + 1} = x^{k} + s^{k}

$x^{k+1} = x^k +s^k$ e raramente é usado na prática; uma atualização melhor, mas um pouco mais complicada, é a atualização do BFGS , para a qual - e mais informações - refiro-me ao livro Nocedal Optimization de Nocedal e Wright .) A desvantagem é que: a) isso exigiria a solução de um sistema linear em cada etapa (mas apenas do tamanho do desconhecido que, no seu caso, é uma condição inicial, portanto, o esforço deve ser dominado pela resolução de PDEs para obter o gradiente; também existem regras de atualização para aproximações do Hessian inverso , que exigem apenas o cálculo de uma única matriz - produto vetorial) eb) você ainda precisa de uma pesquisa de linha para garantir a convergência ...

Felizmente, neste contexto, existe uma abordagem alternativa que utiliza todas as avaliações de funções. A idéia é que, para simétrico e definido positivo (que é garantido para a atualização BFGS), resolver seja equivalente a minimizar o modelo quadrático Em um método de região confiável , você faria isso com a restrição adicional que , em que é um raio da região confiável adequadamente escolhido (que desempenha o papel do comprimento da etapa ). A idéia principal agora é escolher esse raio de forma adaptável, com base na etapa computada. Especificamente, você olha para a proporção $H_k$ $\eqref{cc1}$

q_{k} (s) = \frac{1}{2} s^{T} H_{k} s + s^{T} g^{k} .

$q_k(s) = \frac12 s^T H_k s + s^T g^k.$

‖ s ‖ \leq Δ_{k}

$\|s\| \leq \Delta_k$

Δ_{k}

$\Delta_k$

σ_{k}

$\sigma_k$

ρ_{k} := \frac{f (x^{k}) - f (x^{k} + s^{k})}{f (x^{k}) - q_{k} (s^{k})}

$\rho_k := \frac{f(x^k)-f(x^k+s^k)}{f(x^k)-q_k(s^k)}$ da redução real e prevista no valor da função. Se for muito pequeno, seu modelo estava incorreto e você descartará e tente novamente com . Se estiver próximo de , seu modelo é bom e você define e aumenta . Caso contrário, basta definir e deixar paz. Para calcular o minimizador real de

ρ_{k}

$\rho_k$

s^{k}

$s^k$

Δ_{k + 1} < Δ_{k}

$\Delta_{k+1}<\Delta_k$

ρ_{k}

$\rho_k$

1

$1$

x^{k + 1} = x^{k} + s^{k}

$x^{k+1}=x^k+s^k$

Δ_{k + 1} > Δ_{k}

$\Delta_{k+1}>\Delta_k$

x^{k + 1} = x^{k} + s^{k}

$x^{k+1}=x^k+s^k$

Δ_{k}

$\Delta_k$

s^{k}

$s^k$

min_{‖ s ‖ \leq Δ_{k}} q_{k} (s)

$\min_{\|s\|\leq \Delta_k} q_k(s)$ , existem várias estratégias para evitar a necessidade de resolver o problema de otimização com restrições completas; o meu favorito é o método de CG truncado de Steihaug . Para mais detalhes, refiro-me novamente a Nocedal e Wright.

— Christian Clason
fonte

Só agora estou olhando isso de novo e percebo que tenho uma pergunta. Na etapa três do método BB, você tem ; onde e . O numerador e o denominador na expressão para parecem produtos internos. No meu caso, , onde é um espaço vetorial com uma métrica riemanniana não trivial: K. Ou seja, . Isso afeta a definição de ?

α_{k + 1} = \frac{(y^{k})^{T} y^{k}}{(y^{k})^{T} s^{k}}

$\alpha_{k+1} = \frac{(y^k)^Ty^k}{(y^k)^Ts^k}$

y^{k} = g^{k + 1} - g^{k}

$y^{k} = g^{k+1} - g^k$

s^{k} = - α_{k}^{- 1} g^{k}

$s^k = -\alpha_k^{-1}g^k$

α_{k + 1}

$\alpha_{k+1}$

g^{k} \in V^{*}

$g^k \in V^*$

V^{*}

$V^*$

⟨ g^{k}, g^{k} ⟩_{V^{*}} = ⟨ g^{k}, K g^{k} ⟩_{L_{2}}

$\langle g^k, g^k \rangle _{V^*} = \langle g^k, Kg^k \rangle_{L_2}$

α_{k + 1}

$\alpha_{k+1}$

— NLi10Me 11/08/16

Sim, se você possui uma estrutura de espaço vetorial não trivial, deve respeitar isso nos algoritmos. Em particular, você deve distinguir entre produtos internos de duas funções no mesmo espaço (por exemplo, e ) e produtos de dualidade entre uma função no espaço e outra no espaço dual (por exemplo, e ) - para o último, você precisa incluir o mapeamento de Riesz para transformá-lo em um produto interno primeiro. (Isto pode ser interpretado como pré-condicionamento.)

y^{k}

$y^k$

y^{k}

$y^k$

s^{k}

$s^k$

y^{k}

$y^k$

— Christian Clason

Dr. Clason, vou enviar um artigo para o ISBI 2017 detalhando alguns experimentos que fiz usando o método de pesquisa de linha BB + para uma tarefa de registro de imagens difeomórficas. Deseja ser incluído como autor no manuscrito? Ainda não o escrevi, mas tenho a maioria dos experimentos completos ou em andamento. Por favor deixe-me saber.

— NLi10Me 1/16

@ NLi10Me Obrigado pela gentil oferta, mas não fiz nada que merecesse co-autoria - tudo o que escrevi é um material padrão para livros didáticos. Se você se sente bem com isso, pode me agradecer por "observações úteis sobre (o que quer que isso tenha ajudado)", mas nem isso seria necessário. Saber que o que escrevi foi útil é suficiente!

— Christian Clason

Desculpe, você está certo, isso é um erro de digitação - corrigido! (A condição de Armijo geralmente é escrita como , onde é a direção da pesquisa - não necessariamente a negativa gradiente - e o tamanho do passo, o que deve tornar mais claro o que está acontecendo).

f (x + σ s) - f (x) \leq γ \nabla f (x)^{T} (σ s)

$f(x+\sigma s) - f(x) \leq \gamma\nabla f(x)^T(\sigma s)$

s

$s$

σ

$\sigma$

— Christian Clason