Descida de gradiente e descida de gradiente conjugada

Para um projeto, tenho que implementar esses dois métodos e comparar o desempenho deles em diferentes funções.

Parece que o método do gradiente conjugado se destina a resolver sistemas de equações lineares de

$$A\mathbf{x} = \mathbf{b}$$

Onde $A$ é uma matriz n por n simétrica, definida positiva e real.

Por outro lado, quando leio sobre a descida do gradiente, vejo o exemplo da função Rosenbrock , que é

$$f(x_1,x_2) = (1-x_1)^2+100(x_2-x_1^2)^2$$

A meu ver, não posso resolver isso com um método de gradiente conjugado. Ou eu sinto falta de alguma coisa?

A descida gradiente e o método do gradiente conjugado são ambos algoritmos para minimizar funções não lineares, ou seja, funções como a função Rosenbrock

$f(x_1,x_2) = (1-x_1)^2 + 100(x_2 - x_1^2)^2$

ou uma função quadrática multivariada (neste caso, com um termo quadrático simétrico)

$f(x) = \frac{1}{2} x^T A^T A x - b^T A x.$

$x$$d$$n$$f(x)$$\alpha$$x^*$

$\min f(x)$

Ambos os métodos começam com um palpite inicial, e, em seguida, calculam a próxima iteração usando uma função do formulário$x^0$

$x^{i+1} = x^i + \alpha^i d^i.$

Em palavras, o próximo valor de é encontrado iniciando no local atual e movendo-se na direção de busca por alguma distância . Nos dois métodos, a distância a mover pode ser encontrada por uma pesquisa de linha (minimize sobre ). Outros critérios também podem ser aplicados. Onde os dois métodos diferem está na escolha de . Para o método de gradiente, . Para o método do gradiente conjugado, o procedimento de Grahm-Schmidt é usado para ortogonalizar os vetores de gradiente. Em particular, , mas é igual$x$$x^i$$d^i$$\alpha^i$$f(x^i + \alpha^i d^i)$$\alpha_i$$d^i$$d^i = -\nabla f(x^i)$$d^0 = -\nabla f(x^0)$$d^1$$-\nabla f(x^1)$ menos a projeção do vetor em modo que . Cada vetor gradiente subsequente é ortogonalizado em relação a todos os anteriores, o que leva a propriedades muito boas para a função quadrática acima.$d^0$$(d^1)^Td^0 = 0$

A função quadrática acima (e formulações relacionadas) também é de onde vem a discussão da resolução de usando o método do gradiente conjugado, uma vez que o mínimo desse é alcançado no ponto que .$Ax = b$$f(x)$$x$$Ax = b$

Nesse contexto, os dois métodos podem ser considerados problemas de minimização da função: Quando é simétrico, então é minimizado quando .

$$\phi(\boldsymbol{x}) = \frac{1}{2}\boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x} - \boldsymbol{x}^T\boldsymbol{b}$$ $\boldsymbol{A}$$\phi$$\boldsymbol{A}\boldsymbol{x} = \boldsymbol{b}$

A descida do gradiente é o método que procura iterativamente por um minimizador, olhando na direção do gradiente. O gradiente conjugado é semelhante, mas também é necessário que as direções da pesquisa sejam ortogonais entre si, no sentido de que .$\boldsymbol{p}_i^T\boldsymbol{A}\boldsymbol{p_j} = 0 \; \; \forall i,j$