Problemas em que o gradiente conjugado funciona muito melhor que o GMRES

17

Estou interessado nos casos em que o gradiente conjugado funciona muito melhor que o método GMRES.

Em geral, o CG é a escolha preferível em muitos casos de SPD (simétrico-positivo-definido) porque requer menos armazenamento e o limite teórico da taxa de convergência para o CG é o dobro do GMRES. Existem problemas em que essas taxas são realmente observadas? Existe alguma caracterização de casos em que o GMRES tenha um desempenho melhor ou comparável ao GC para o mesmo número de spmvs (multiplicações esparsas de vetores matriciais).

linear-solver conjugate-gradient gmres

— piyush_sao
fonte

8

Uma coisa que CG tem a seu favor é que ele não está minimizando o discreto norma para seus polinômios residuais (que GMRES faz). Em vez disso, está minimizando uma norma induzida por matriz, e muitas vezes essa norma induzida por matriz acaba ficando muito próxima da norma energética para discretizações de problemas físicos, e freqüentemente essa é uma norma muito mais razoável para medir erros devido às propriedades de conservação que estão surgindo. da física. $l^2$

Você também pode obter esse tipo de efeito com o GMRES, se a fatoração de Cholesky de uma matriz de massa não for muito cara, você pode forçar os produtos internos a serem os produtos internos de energia que você deseja.

Então, os casos em que se deve esperar que o CG tenha um desempenho muito diferente do GMRES são quando as constantes implícitas na equivalência de normas são muito diferentes. Isso pode ser verdade, por exemplo, em um método espectral de Galerkin de alta ordem, em que a norma discreta usada no GMRES trata todos os graus de liberdade como iguais, quando, na realidade, os gradientes polinomiais são os limites próximos mais nítidos (daí o agrupamento de nós); constantes de equivalência de norma entre essa norma e digamos que a norma contínua dada pela matriz de massa pode ser muito grande. $l^2$ $L^2$

— Reid.Atcheson
fonte

Queria dar um exemplo aqui com um método de alta ordem e históricos de convergência dos truques CG, GMRES e GMRES + Cholesky. Mas, infelizmente, o único código que tenho em mãos para problemas de segunda ordem é o DG da variedade não simétrica. aplicável, adoraria ver isso em ação.

— precisa saber é o seguinte

3

Acho que sua resposta chega a algo importante, mas gostaria que você esclarecesse. Em particular, a pergunta é uma questão de álgebra linear pura, e sua resposta fala sobre normas físicas e matrizes de massa e assim por diante a partir de um PDE numérico. Podemos dizer algo preciso sobre como minimizar as diferentes normas dentro do mesmo espaço de Krylov leva a diferentes iterações?

— Andrew T. Barker

Além de exemplos numéricos, acho que ainda não houve um estudo teórico cuidadoso explicando como normas diferentes produzem respostas substancialmente diferentes. A questão que penso é que os resultados giram em torno de assintóticos e, para um sistema linear fixo, os resultados teóricos serão idênticos aos fatores constantes do módulo. Se existem alguns estudos teóricos por aí, eu adoraria vê-los, mas, tendo perguntado a alguns dos especialistas em álgebra linear numérica do meu departamento, não parece que ainda exista uma análise teórica precisa mostrando o que acontece com diferentes normas.

— Reid.Atcheson

4

Suspeito que em geral não exista muita diferença entre GMRES e CG para uma matriz SPD.

$Ax = b$ $A$ $x_0 = 0$ $x_k^c$ $x_k^g$ $x_k$ $K_k = \{ b, Ab, A^2b, \ldots \}$

$e_k^c = x - x_k^c$ $A$

(A e_{k}^{c}, e_{k}^{c}) = (A (x - x_{k}^{c}), x - x_{k}^{c}) = min_{y \in K} (A (x - y), x - y) .

$\begin{equation} (A e_k^c, e_k^c) = (A (x - x_k^c), x - x_k^c) = \min_{y \in K} (A (x-y), x-y). \end{equation}$

$r_k = b - A x^g_k$ $\ell^2$

(r_{k}, r_{k}) = (b - A x_{k}^{g}, b - A x_{k}^{g}) = min_{y \in K} (b - A y, b - A y) .

$\begin{equation} (r_k, r_k) = (b - A x_k^g, b - A x_k^g) = \min_{y \in K} (b - Ay, b - Ay). \end{equation}$

A e_{k} = r_{k}

$A e_k = r_k$

(r_{k}, r_{k}) = (A e_{k}^{g}, A e_{k}^{g}) = (A^{2} e_{k}^{g}, e_{k}^{g})

$\begin{equation} (r_k, r_k) = (A e_k^g, A e_k^g) = (A^2 e_k^g, e_k^g) \end{equation}$

A

$A$

A

$A$

A^{2}

$A^2$

A

$A$

A

$A$

$K_1 = \{ b \}$ $x_1 = \alpha b$

α = \frac{(b, b)}{(A b, b)}

$\begin{equation} \alpha = \frac{ (b,b) }{ (Ab,b) } \end{equation}$

α = \frac{(A b, b)}{(A^{2} b, b)} .

$\begin{equation} \alpha = \frac{ (Ab,b) }{ (A^2b,b) }. \end{equation}$

A

$A$

(ϵ, 1, 1, 1, \dots)

$(\epsilon,1,1,1,\ldots)$

b = (1, 1, 0, 0, 0, \dots)

$b = (1,1,0,0,0,\ldots)$

ϵ \to 0

$\epsilon \rightarrow 0$

A

$A$

b

$b$ para que esse fator de duas diferenças continue por toda a iteração, mas duvido que fique pior do que isso.

— Andrew T. Barker
fonte

2

b = (1, \sqrt{ϵ}, 0, 0, \dots)

$b = (1,\sqrt{\epsilon},0,0,\dotsc)$

| b | = \sqrt{1 + ϵ}

$|b| = \sqrt{1 + \epsilon}$

b^{T} A b = \sqrt{2} ϵ

$b^T A b = \sqrt{2} \epsilon$

b^{T} A^{2} b = ϵ \sqrt{1 + ϵ^{2}}

$b^T A^2 b = \epsilon \sqrt{1 + \epsilon^2}$

α_{CG} = \frac{ϵ^{- 1} + 1}{\sqrt{2}} \sim ϵ^{- 1}

$\alpha_{\text{CG}} = \frac{\epsilon^{-1}+1}{\sqrt 2} \sim \epsilon^{-1}$

α_{GMRES} = \sqrt{\frac{2}{1 + ϵ^{2}}} \sim \sqrt{2}

$\alpha_{\text{GMRES}} = \sqrt{\frac{2}{1 + \epsilon^2}} \sim \sqrt{2}$

ϵ^{- 1}

$\epsilon^{-1}$

3

Uma coisa é que o GMRES nunca é usado onde quer que o CG possa ser aplicado. Não acho que faça sentido comparar esses dois. Para matrizes SPD, o CG é definitivamente o vencedor, devido aos requisitos de armazenamento e aos motivos mencionados acima. Uma pergunta que seria interessante é encontrar uma extensão do CG aplicável a problemas nos quais o CG não pode ser aplicado. Existem métodos como o BiCG-stab que não requerem aumento linear de memória como o GMRES, mas a convergência não é tão boa quanto o GMRES (algumas vezes, mesmo com o GMRES reiniciado).

— user1964178
fonte

2

Existem esquemas de IDR que preenchem a lacuna entre GMRES e BiCG em termos de economia de memória, estabilidade e convergência: ta.twi.tudelft.nl/nw/users/gijzen/IDR.html Não tenho certeza se concordo que GMRES não deve ser usado se o CG puder ser. Se você puder fazer uma fatoração cholsky de uma matriz que induza sua norma de energia, poderá alimentá-la em uma iteração simétrica de Lanczos e obter uma solução de recorrência de três termos que se comportará quase como o CG. Claro, CG é a opção mais fácil, mas a opção está disponível :)

— Reid.Atcheson

2

Se você usa um Krylov mais suave, por exemplo, é provável que o GMRES seja preferível, pois usa uma norma mais fraca que tem como alvo valores próprios maiores, que tendem a ter maior frequência.

— Jed Brown