Existem heurísticas para otimizar o método de relaxamento excessivo (SOR) sucessivo?

Pelo que entendi, o relaxamento excessivo sucessivo funciona escolhendo um parâmetro $0\leq\omega\leq2$ e usando uma combinação linear de uma iteração (quase) de Gauss-Seidel e o valor no timestep anterior ...

${u}^{k+1} = (\omega){u_{gs}}^{k+1} + (1-\omega)u^{k}$

I estado 'quase' porque ${u_{gs}}^{k+1}$ inclui as últimas informações atualizadas de acordo com esta regra, a qualquer instante temporal. (observe que em $\omega=1$ , isso é exatamente gauss-seidel).

De qualquer forma, li que na escolha ideal para (de modo que a iteração converge mais rapidamente do que qualquer outra) se aproxima de 2 para o problema de poisson, pois a resolução espacial se aproxima de zero. Existe uma tendência semelhante para outros problemas simétricos, diagonalmente dominantes? Ou seja, existe uma maneira de escolher o ômega de maneira ideal sem incorporá-lo a um esquema de otimização adaptável? Existem outras heurísticas para outros tipos de problemas? Que tipos de problemas o sub-relaxamento ( ) seria ideal? $\omega$ $\omega<1$

linear-algebra optimization iterative-method

— Paulo
fonte

Não é bem a sua pergunta, mas veja Salakhutdinov e Roweis, Métodos de otimização de limites excessivamente adaptativos , 2003, 8p. ( Adaptive speedups têm alto estrondo per fanfarrão, mas são afaik impossível analisar, de modo off-topic aqui.)

— denis

Jacobi úmido

Suponhamos que a matriz tem diagonal . Se o espectro de estiver no intervalo do eixo real positivo, a matriz de iteração de Jacobi com fator de amortecimento possui espectro no intervalo , minimizando o raio espectral com $A$ $D$ $D^{-1}A$ $[a,b]$ $\omega$

B_{Jacobi} = I - ω D^{- 1} A

$B_\text{Jacobi} = I - \omega D^{-1} A$

[1 - ω b, 1 - ω a]

$[1 - \omega b,1 - \omega a]$

fornece um fator de convergência de

ω_{opt} = \frac{2}{a + b}

$\omega_{\text{opt}} = \frac 2 {a + b}$

, esse fator de convergência é muito ruim, como esperado. Observe que é relativamente fácil estimar

usando um método de Krylov, mas muito caro estimar

ρ_{opt} = 1 - \frac{2 a}{a + b} = \frac{b - a}{a + b} .

$\rho_\text{opt} = 1 - \frac{2a}{a+b} = \frac{b-a}{a+b}.$

a ≪ b

$a \ll b$

b

$b$

a

$a$

Relaxamento sucessivo (SOR)

$D^{-1}A$ $\mu_\max$ $I - D^{-1} A$ $\mu_\max < 1$

ω_{optar} = 1 1 + {(\frac{μ_{max}}{1 1 + \sqrt{1 1 - μ_{max}^{2}}})}^{2}

$\omega_\text{opt} = 1 + \left( \frac{\mu_\max}{1 + \sqrt{1 - \mu_\max^2}} \right)^2$

ρ_{optar} = ω_{optar} - 1

$\rho_\text{opt} = \omega_\text{opt} - 1.$

ω_{opt}

$\omega_\text{opt}$

μ_{max} \to 1

$\mu_\max \to 1$

Comentários

$\omega = 1$ $\omega <1$

$D^{-1}A$

B_{SOR} = 1 1 - {(\frac{1 1}{ω} D + eu)}^{- 1 1} UMA

$B_\text{SOR} = 1 - \left(\frac 1 \omega D + L\right)^{-1} A$

(\frac{1}{ω} D + L)^{- 1} A

$(\frac 1 \omega D + L)^{-1} A$

— Jed Brown
fonte

Concordo que não é mais 1950: o), no entanto, discordo que não faz sentido usar mais os solucionadores iterativos de papelaria. Podemos obter eficiência de livros didáticos multigrid usando um solucionador iterativo estacionário para um solucionador de aplicativos de engenharia baseado em solucionadores de superfícies livres não lineares de alta ordem (equações de fluxo e equador de Euler). A eficiência foi tão boa quanto um método de subespaço GMRES krylov pré-condicionado com precisão alcançável (nosso pub recente pode ser encontrado aqui emlinelibrary.wiley.com/doi/10.1002/fld.2675/abstract, servindo como prova de conceito).

— Allan P. Engsig-Karup

Você está usando o Gauss-Seidel como uma solução mais suave para multigrid (que é onde os métodos como o SOR pertencem). Se o multigrid estiver funcionando bem, um método externo de Krylov também não será necessário (embora seu artigo não mostre essas comparações). Assim que o multigrid começa a perder eficiência (por exemplo, mais de 5 iterações para obter erros de discretização), geralmente vale a pena envolver um método de Krylov no ciclo multigrid.

— perfil completo de Jed Brown

Todo o método é um p-multigrid com suavização do tipo GS; no entanto, o método completo pode ser escrito como um método iterativo estacionário, pois todos os operadores são constantes. Você pode visualizá-lo como um método Richardson pré-condicionado com M um pré-condicionador construído a partir do método multigrid. As análises foram feitas, mas ainda não foram publicadas. Na verdade, este trabalho foi na outra direção que você propõe. O método krylov neste trabalho (um GMRES) foi descartado e depois foi transformado em um método multigrid de alta ordem, pois descobrimos que era tão eficiente (e com requisitos de memória reduzidos).

— Allan P. Engsig-Karup

p

$p$

h p

$hp$

Observe que, em smoothers multigrid, às vezes é preferível (permitindo a arquitetura), tornar o acoplamento de ordem alta / baixa multiplicativo. Isso também estende a formulação "pré-condicionada de Richardson". (Tive uma discussão em uma conferência na semana passada com um cara que queria ver essencialmente todos os métodos como Richardson pré-condicionado com iteração aninhada, o que não acho que seja um benefício particular sobre outras declarações de composição do solucionador. Não sei se é relevante para você, mas seus pontos de me lembrar da discussão).

— Jed Brown