Qual é o princípio por trás da convergência dos métodos do subespaço de Krylov para resolver sistemas lineares de equações?


24

Pelo que entendi, existem duas categorias principais de métodos iterativos para resolver sistemas lineares de equações:

  1. Métodos estacionários (Jacobi, Gauss-Seidel, SOR, Multigrid)
  2. Métodos de Krylov Subespaço (Gradiente Conjugado, GMRES, etc.)

Entendo que a maioria dos métodos estacionários funciona relaxando (suavizando) iterativamente os modos de Fourier do erro. Pelo que entendi, o método de Gradiente Conjugado (método subespaço Krylov) funciona por "reforço" através de um conjunto ideal de instruções de pesquisa de competências da matriz aplicado ao n th residual. Esse princípio é comum a todos os métodos do subespaço de Krylov? Caso contrário, como caracterizamos o princípio por trás da convergência dos métodos do subespaço de Krylov, em geral?


2
Sua análise de métodos estacionários é influenciada por problemas simples do modelo, porque eles podem ser analisados ​​em termos dos modos de Fourier. Ele também ignora a direção alternada implícita (ADI) e muitos outros métodos. O objetivo da maioria dos "Métodos estacionários" é combinar muitos solucionadores "parciais aproximados" simples em um solucionador iterativo. O objetivo dos métodos de Krylov é acelerar (ou até impor) a convergência de uma determinada iteração linear estacionária.
Thomas Klimpel

4
Um artigo que acho que foi escrito para responder às suas perguntas é Ipsen e Meyer. A idéia por trás dos métodos de Krylov, Amer. Matemática. Monthly 105 (1998) pp. 889-899. É um artigo maravilhosamente bem escrito e esclarecedor, disponível aqui .
Andrew T. Barker

@ AndrewT.Barker: Impressionante! Obrigado Andrew! :)
Paul

Respostas:


21

Em geral, todos os métodos de Krylov buscam essencialmente um polinômio pequeno quando avaliado no espectro da matriz. Em particular, o th residual de um método Krylov (com zero de estimativa inicial) pode ser escrita sob a forman

rn=Pn(A)b

onde é algum polinômio monônico de grau n .Pnn

Se é diagonalizável, com A = V Λ V - 1 , temosAA=VΛV1

rnVPn(Λ)V1b=κ(V)Pn(Λ)b.

No caso de ser normal (por exemplo, simétrico ou unitário), sabemos que κ ( V ) = 1. GMRES constrói esse polinômio através da iteração de Arnoldi, enquanto CG constrói o polinômio usando um produto interno diferente (consulte esta resposta para obter detalhes) . Da mesma forma, o BiCG constrói seu polinômio através do processo não simétrico de Lanczos, enquanto a iteração Chebyshev usa informações anteriores sobre o espectro (geralmente estimativas dos maiores e menores valores próprios para matrizes definidas simétricas).Aκ(V)=1.

Como um exemplo interessante (motivado por Trefethen + Bau), considere uma matriz cujo espectro é este:

Espectro de matriz

No MATLAB, eu construí isso com:

A = rand(200,200);
[Q R] = qr(A);
A = (1/2)*Q + eye(200,200);

Se considerarmos o GMRES, que constrói polinômios que realmente minimizam o residual sobre todos os polinômios mônicos de grau , podemos prever facilmente o histórico residual observando o polinômio candidaton

Pn(z)=(1z)n

que no nosso caso dá

|Pn(z)|=12n

para no espectro de Uma .zA

Agora, se rodarmos o GMRES em um RHS aleatório e compararmos o histórico residual com esse polinômio, eles deverão ser bastante semelhantes (os valores polinomiais candidatos são menores que o residual do GMRES porque ):b2>1

História residual


Você poderia esclarecer o que quer dizer com "pequeno no espectro da matriz"?
Paul

2
Tomado como um polinómio complexo, o polinómio tem pequeno módulo numa região do plano complexo, que inclui o espectro de Uma . Imagine um gráfico de contorno sobreposto a um gráfico de dispersão dos valores próprios. Quão pequeno é pequeno? Depende do problema, se A é normal e do lado direito b . A idéia básica, porém, é que a sequência de polinômios ( P n ) procura se tornar progressivamente menor e menor no espectro, de modo que a estimativa residual na minha resposta tenda a 0 .PnAAb.(Pn)0
precisa saber é o seguinte

@ Reid.Atcheson: Muito bem colocado. Posso recomendar escrever como κ ( V ) e mencionar que é para matrizes normais? VV1κ(V)
21412 Jack Poulson

O Laplaciano pré-condicionado pelo SOR ótimo possui um espectro muito semelhante a esta matriz de exemplo. Detalhes aqui: scicomp.stackexchange.com/a/852/119
Jed Brown

A rigor, o CGNE é independente do espectro, pois depende apenas de valores singulares.
Jed Brown

17

Em normas

Como um adendo à resposta de Reid.Atcheson, gostaria de esclarecer algumas questões sobre normas. Na iteração, o GMRES encontra o polinômio P n que minimiza a n- 2 da quantidade residualnthPn2

rn=Axnb=(Pn(A)1)bb=Pn(A)b.

Suponha que seja SPD, então A induz uma norma e A - 1 também . EntãoAAA1

rnA1=rnTA1rn=(Aen)TA1Aen=enTAen=enA

onde usamos o erro

en=xnx=xnA1b=A1rn

AA1A2ATAA

Nitidez dos limites de convergência

Finalmente, há literatura interessante sobre os diferentes métodos de Krylov e sutilezas da convergência GMRES, especialmente para operadores não normais.


Você parou o excelente livro de Olavi Nevanlinna: books.google.com/…
Matt Knepley 3/12/12

11

Métodos iterativos em poucas palavras:

  1. Ax=bC

    x=x+CbCAx
    ICA<1CC=D1DA
  2. U,VCnx~UbAx~VUAVV=UV=AU

    Vx~UU em cada iteração, terá a garantia (na aritmética exata) de encontrar a solução após várias etapas finitas.

    UAx~ .

    Isso é bem explicado no livro de Youcef Saad sobre métodos iterativos .

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.