Motivação intuitiva para atualização do BFGS

Estou dando uma aula de pesquisa de análise numérica e buscando motivação para o método BFGS para alunos com formação / intuição limitada em otimização!

$\|J_k-J_{k-1}\|^2_{\textrm{Fro}}$ $J_k(\vec x_k-\vec x_{k-1})=f(\vec x_k)-f(\vec x_{k-1})$

As derivações das atualizações do BFGS parecem muito mais envolvidas e obscuras! Em particular, eu gostaria de não assumir a priori que a atualização deve ser de nível 2 ou assumir uma forma específica. Existe uma pequena motivação de aparência variada para a atualização do BFGS Hessian como a de Broyden?

optimization iterative-method nonlinear-programming

— Justin Solomon
fonte

Se você permitir uma atualização arbitrária, poderá usar o Hessian completo no método de Newton. Uma grande vantagem computacional de uma atualização de baixa classificação é que ela permite atualizar a fatoração do Hessian aproximado muito rapidamente.

— Brian Borchers 12/09

A derivação do BFGS é mais intuitiva quando se considera (estritamente) funcionais de custo convexos:

No entanto, algumas informações básicas são necessárias: Suponha que alguém deseje minimizar uma função convexa Digamos que exista uma solução aproximada . Então, aproxima-se o mínimo de pelo mínimo da expansão truncada de Taylor Ou seja, procura-se tal que seja mínimo e defina . Computar o gradiente de - "em relação a " - e defini-lo como zero fornece a relação

f (x) \to min_{x \in R^{n}} .

$f(x) \to \min_{x\in \mathbb R^n}.$

x_{k}

$x_k$

f

$f$

f (x_{k} + p) \approx f (x_{k}) + \nabla f (x_{k})^{T} p + \frac{1 1}{2} p^{T} H (x_{k}) p . (*)

$f(x_k+p) \approx f(x_k) +\nabla f(x_k)^Tp + \frac{1}{2}p^T H(x_k)p. \quad(*)$

p

$p$

(*)

$(*)$

x_{k + 1} := x_{k} + p

$x_{k+1} := x_k + p$

(*)

$(*)$

p

$p$

H (x_{k}) [x_{k + 1 1} - x_{k}] = \nabla f (x_{k + 1 1}) - \nabla f (x_{k}),

$H(x_k)[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k),$ onde

H

$H$ é o 'jacobiano do gradiente' ou a matriz hessiana.

Como o cálculo e a inversão do Hessian são caros ...

... uma resposta curta

(cf. atualização de Broyden) pode ser que a atualização BFGS $H_{k+1}^{-1}$ minimize

__H_{k}^{- 1 1} - H^{- 1 1} {__}_{W}

$\|H_k^{-1} - H^{-1}\|_W$ em uma norma Frobenius ponderada e escolhida de maneira inteligente, sujeito a

$H[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)$ - é para isso que se precisa - e
$H^T = H$ , porque o Hessiano é simétrico.

Então a escolha do peso em ~~como o inverso do~~ Hessiano médio , cf. aqui para a declaração, mas sem prova, fornece a fórmula de atualização do BFGS (com ). $W$ $\|H\|_W := \|W^{1/2}HW^{1/2}\|_F$ $G:=\int_0^1 H(x_k + \tau p) d\tau$ $\alpha_k = 1$

Os principais pontos são:

Procura-se aproximar a solução dos custos reais pela solução para uma aproximação quadrática
A computação do hessiano e seu inverso são caros. Um prefere atualizações simples.
A atualização é escolhida ideal para o inverso e não para o hessiano real.
O fato de se tratar de uma atualização de nível 2 é uma consequência da escolha específica dos pesos na norma Frobenius.

Uma resposta mais longa deve incluir como escolher os pesos, como fazer isso funcionar para problemas não-convexos (onde aparece uma condição de curvatura que requer uma escala da direção de pesquisa ) e como derivar a fórmula real da atualização. Uma referência está aqui (em alemão). $p$

— Jan
fonte

Muito obrigado, isso é ótimo (e mais ou menos o que eu esperava com base na discussão em Nocedal & Wright). A única questão que resta é: por que escolhemos e a norma como fazemos? Eu entendo que isso tem a ver com unidades, mas existem muitas opções potenciais de e normas que fazem isso.

W

$W$

W

$W$

— 23613 Justin Solomon

Sim, verdade. Bem, eu não sei. Uma resposta é que ela fornece a fórmula de atualização simples de calcular e que funciona bem. Historicamente, essa abordagem da atualização - minimizando a diferença na atualização - era a de Shanno. Foi um árbitro (Goldfarb) que descobriu que uma determinada escolha dos pesos leva à fórmula de Broyden e Fletcher. Veja esta tese de doutorado Desenvolvimento histórico do método secante BFGS ... para as intuições dos desenvolvedores do BFGS. No entanto, todas as três abordagens são bastante abstratas.

— Janeiro

Interessante, obrigado pela orientação! Meu artigo atual (com alguns erros de matemática que precisam de ajuda) está aqui: graphics.stanford.edu/courses/cs205a-13-fall/assets/notes/… (se você quiser crédito por sua ajuda, fico feliz em fornecê-lo - envie-me um e-mail com as informações de contato adequadas)

— Justin Solomon

@jan Por que sua equação e não Não é a condição secante fornecida por , onde . Obrigado!

H (x_{k}) [x_{k + 1 1} - x_{k}] = \nabla f (x_{k + 1 1}) - \nabla f (x_{k})

$H(x_k)[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)$

H (x_{k + 1 1}) [x_{k + 1 1} - x_{k}] = \nabla f (x_{k + 1 1}) - \nabla f (x_{k}) ?

$H(x_{k+1})[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)?$

H_{k + 1} s_{k} = y_{k}

$H_{k+1}s_k =y_k$

s_{k} = x_{k + 1} - x_{k}, y_{k} = \nabla f_{k + 1} - \nabla f_{k}

$s_k=x_{k+1}-x_k, y_k=\nabla f_{k+1}-\nabla f_k$

— 22417 Jeff Faraci