Pré-condicionador eficiente para Lagrangiano Aumentado

Eu quero resolver um problema não linear com restrições de igualdade não lineares e estou usando um Lagrangiano aumentado com um termo de regularização de penalidade que, como se sabe, estraga o número de condições dos meus sistemas linearizados (a cada iteração de Newton, quero dizer) . Quanto maior o prazo da penalidade, pior é o número da condição. Alguém saberia uma maneira eficiente de se livrar desse mau condicionamento nesse caso específico?

Para ser mais específico, estou usando o lagrangiano aumentado clássico porque tenho muitas restrições que geralmente podem ser redundantes. Portanto, é muito conveniente incorporar cegamente as restrições diretamente às variáveis primárias. Tentei outras abordagens mais sofisticadas, baseadas em eliminações variáveis ou precondicionadores eficientes diretamente no sistema KKT, mas, devido à redundância de restrições, tenho alguns problemas.

O problema com relação às variáveis é formulado como segue meu Lagrangiano como a forma $\mathbf u =[u_1,\cdots,u_n]$

L (u, λ) := W (u) + ρ λ^{T} c (u) + \frac{ρ}{2} c^{2} (u)

$\mathcal L(\mathbf u,\lambda):= \mathcal W(\mathbf u) + \rho \lambda^T \,c(\mathbf u) + \frac{\rho}{2} c^2(\mathbf u)$

Portanto, geralmente o objetivo em cada iteração de Newton é resolver um problema do formato With (deixamos de lado a restrição) e e o capital é destinado a .

A Δ u = b

$A \Delta u = b$

A (u, ρ) := \nabla_{u}^{2} W (u) + ρ C^{T} (u) C (u)

$A(\mathbf u,\rho): = \nabla_{\mathbf u}^2 \mathcal W(\mathbf u) + \rho C^T(\mathbf u)C(\mathbf u)$

b (u, ρ) := - (\nabla_{u} W (u) + (ρ + λ^{T} c (u)) \nabla_{u} (u))

$b(\mathbf u,\rho) :=- \big(\nabla_{\mathbf u}\mathcal W(\mathbf u) +(\rho +\lambda^Tc(\mathbf u)) \nabla_{\mathbf u}(\mathbf u)\big)$

C

$C$

C (u) := \nabla_{u} c (u)

$C(\mathbf u) := \nabla_{\mathbf u} c(\mathbf u)$

Obrigado.

linear-solver preconditioning constrained-optimization

— Tom
fonte

Olá Tom. Bem-vindo ao Scicomp. Para nos ajudar a responder sua pergunta, você poderia escrever as equações que está tentando resolver?

— Paul

Você quer dizer ?

A Δ u = b

$A\Delta u=b$

— Arnold Neumaier 04/10/12

OPA, desculpe. Sim, claro.

— Tom

Respostas:

Dependendo da estrutura do problema, é possível resolver diretamente o sistema Lagrangiano Aumentado mal condicionado. Por exemplo, o BDDC / FETI-DP pode resolver a elasticidade quase incompressível na forma primária com uma taxa de convergência independente da razão de Poisson (constante por partes nos subdomínios, mas com saltos arbitrários). Da mesma forma, métodos multigrid que reproduzem exatamente o modo volumétrico podem ter essa propriedade. Esses métodos são específicos ao problema e, em geral, grandes penalidades resultam em sistemas difíceis de pré-condicionar.

Para permitir mais flexibilidade na escolha dos pré-condicionadores, recomendo introduzir variáveis duplas explícitas e escrever o sistema maior de pontos de sela

(\begin{matrix} A & C^{T} \\ C & - ρ^{- 1} \end{matrix}) (\begin{matrix} x \\ y \end{matrix}) = (\begin{matrix} b \\ 0 \end{matrix})

$\begin{pmatrix}A & C^T \\ C & -\rho^{-1} \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} b \\ 0 \end{pmatrix}$

como sugerido por Arnold Neumaier. Este sistema está muito melhor condicionado e permite avaliar com precisão um resíduo. Se existir um pré-condicionador para algum sistema penalizado (onde ), você poderá usá-lo como um pré-condicionador de blocos para o sistema de pontos de sela. Para um exemplo disso, consulte Dohrmann e Lehoucq (2006), que pré-condicionam a elasticidade incompressível na forma mista usando o BDDC aplicado a problemas compressíveis. Outra classe popular de métodos é baseada na aproximação do complemento Schur usando argumentos de "comutador aproximado". Há uma gama extremamente diversificada de métodos para resolver problemas de pontos de sela, consulte Benzi, Golub e Liesen, $A - \tilde\rho C^T C$ $\tilde \rho \le \rho$ $-\rho^{-1} - C A^{-1} C^T$ Solução numérica de problemas do ponto de sela (2005) para uma revisão. Se você estiver usando o PETSc, muitos dos métodos descritos na revisão acima podem ser construídos usando opções de tempo de execução por meio doPCFIELDSPLITcomponente.

Se você puder ser mais específico sobre a origem do seu problema (o que você está minimizando e qual é a restrição), posso sugerir referências mais específicas.

— Jed Brown
fonte

os pré-condicionadores para o sistema regularizado abrem novas maneiras para mim! No entanto, vou precisar de algum tempo para digerir tudo isso; talvez eu volte depois de um tempo, se você não se importar. Muito obrigado por suas respostas.

— Tom

Introduza variáveis extras para os termos de deterioração na condição KT e você poderá encontrar um sistema simétrico maior que seja numericamente bem-comportado, com apenas o inverso do fator de penalidade entrando na matriz.

Para resolver o sistema mal condicionado quando é grande, introduza e reformule seu problema no formato , , que é genericamente bem condicionado. $(A+\rho C^TC)x=b~$ $\rho$ $y=\rho Cx$ $Ax+C^Ty=b$ $Cx-\rho^{-1}y=0$

— Arnold Neumaier
fonte

c (u) = 0

$c(\mathbf u) = 0$

u

$\mathbf u$

c (x_{s}, x_{1}, x_{2}) = (x_{2} - x_{1}) n

$c(x_s,x_1,x_2)= (x_2-x_1) \mathbf n$

x_{s}

$x_s$

\[x_{1}, x_{2} \]

$x_1,x_2$

— Tom

@ Tom: Eu não quis dizer o problema não-linear, mas as equações mal condicionadas que você acaba. Escreva (editando sua pergunta) a forma do sistema linear que você deseja resolver e como o parâmetro de penalidade entra.

— Arnold Neumaier 04/10/12

Estou tentando descobrir como a introdução de variáveis extras faria o truque ... Você poderia me enviar uma referência? Muito obrigado!

— Tom

@ Tom: veja a resposta editada.

— Arnold Neumaier 04/10/12

ρ

$\rho$

ρ^{- 1} \approx 0

$\rho^{-1} \approx 0$