Qual é a pior complexidade do Gradiente Conjugado?

9

Seja $A\in \mathbb{R}^{n\times n}$ , simétrico e positivo definido. Suponhamos que leva $m$ unidades de trabalho para multiplicar um vector por $A$ . É sabido que a execução do algoritmo CG em $A$ com o número de condição $\kappa$ requer $\mathcal{O} (m\sqrt{\kappa})$ , unidades de trabalho.

Agora, é claro, sendo uma declaração $\mathcal{O}$ , esse é um limite superior. E o algoritmo de CG pode sempre terminar em zero etapas com um palpite inicial de sorte.

Sabemos se existe um RHS e um palpite inicial (infeliz) que exigirá $\mathcal{\Theta}(\sqrt{\kappa})$ etapas? Em outras palavras, a pior complexidade de trabalho do CG é realmente $\Theta( m \sqrt{\kappa})$ ?

Essa questão surge quando tentei determinar se o benefício de um pré-condicionador ( inferior $\kappa$ ) superava seu custo ( superior $m$ ). No momento, estou trabalhando com problemas de brinquedo e gostaria de ter uma idéia melhor antes de implementar qualquer coisa em uma linguagem compilada.

conjugate-gradient

— fred
fonte

5

Presumivelmente, você poderia construir um palpite inicial pessimal, executando o algoritmo de CG "para trás" e colocando energia adequada em cada

direções de pesquisa

horizontais que o algoritmo requer todas as etapas.

A

$A$

— origimbo

9

A resposta é um sim retumbante. A taxa de convergência vinculada de é nítido sobre o conjunto de matrizes definidas positivas simétricas com número de condição $(\sqrt{\kappa}-1) / (\sqrt{\kappa}+1)$ . Em outras palavras, sabendo nada mais sobre que seu número de condição, o CG realmente pode assumir $\kappa$ $A$ iterações para convergir. Em termos gerais, o limite superior é atingido se os valores próprios deforem distribuídos uniformemente (isto é, "salpicados") dentro de um intervalo do número de condição. $\sim\sqrt{\kappa}$ $A$ $\kappa$

Aqui está uma declaração mais rigorosa. As versões determinísticas estão mais envolvidas, mas funcionam usando os mesmos princípios.

Teorema (pior opção de ). Escolher qualquer matriz ortogonal aleatório , deixar ser números reais uniformemente amostrados a partir do intervalo verdadeira , e deixou sejam números reais amostrados iid do gaussiano padrão. Defina $A$ $U$ $\lambda_1,\ldots,\lambda_n$ $n$ $[1,\kappa]$ $b=[b_1;\ldots;b_n]$ $n$ Em seguida, no limite , gradientes conjugados vai convergência com uma probabilidade para uma solução precisa de em não menos do que

A = U d i a g (λ_{1}, \dots, λ_{n}) U^{T} .

$A=U\mathrm{diag}(\lambda_1,\ldots,\lambda_n)U^T.$

n \to \infty

$n\to\infty$

ϵ

$\epsilon$

A x = b

$Ax=b$

iterações.

Ω (\sqrt{κ} \log ϵ^{- 1})

$\Omega(\sqrt{\kappa}\log\epsilon^{-1})$

Prova. A prova padrão é baseada em aproximações polinomiais ótimas de Chebyshev, usando técnicas encontradas em vários locais, como o livro de Greenbaum ou o livro de Saad .

— Richard Zhang
fonte

11

O limite não é nítido, como a resposta explica mais adiante: se os autovalores não forem distribuídos uniformemente, cg converge mais rapidamente, pois não é uma iteração estática. Portanto, precisamos saber mais sobre a matriz.

— Guido Kanschat

@GuidoKanschat: Bom ponto, e eu corrigi a declaração para esclarecer que a nitidez é alcançada em todos os

com a condição

.

A

$A$

κ

$\kappa$

— Richard Zhang

A prova se resume a minimizar

no espaço de polinômios de ordem

satisfazem

. Equivalentemente, isto é

. No limite estabelecido,

‖ p (A) ‖

$\|p(A)\|$

k

$k$

p (0) = 1

$p(0)=1$

min_{p} max_{λ \in Λ (A)} | p (λ) |

$\min_p \max_{\lambda\in\Lambda(A)} |p(\lambda)|$

Λ (A) \to [1, κ]

$\Lambda(A)\to[1,\kappa]$ , e a solução para o problema minimax é o polinômio de Chebyshev, cujo erro converge como

\sim \sqrt{κ}

$\sim\sqrt{\kappa}$

— Richard Zhang

0

Tomando isso como minha pergunta original: sabemos se existe um RHS e um palpite inicial (sem sorte) que exigirá etapas? $\Theta(\sqrt{\kappa})$

A resposta para a pergunta é "não". A idéia desta resposta vem do comentário de Guido Kanschat.

Reivindicação: Para qualquer condição número , existe uma matriz $k$ , com esse número de condição para o qual o algoritmo CG terminará em no máximo duas etapas (para qualquer RHS dado e estimativa inicial). $A$

Considere onde . Então o número da condição de é . Seja o RHS e denote os autovalores de como onde $A\in \mathbb{R}^{n\times n}$ $A=\mathrm{diag}(1,\kappa,\kappa,\ldots, \kappa)$ $A$ $\kappa$ $b\in \mathbb{R}^n$ $A$ $\lambda_i$

λ_{i} = {\begin{cases} 1 & i = 1 \\ κ & i \neq 1 \end{cases} .

$\lambda_i = \left\{\begin{array}{ll}1 & i=1\\ \kappa & i\not= 1 \end{array} \right. .$

Nós primeiro considerar o caso em que , a estimativa inicial, é zero. Denuncie como a segunda estimativa de do algoritmo CG. Mostramos que , mostrando $x^{(0)} \in \mathbb{R}^n$ $x^{(2)}\in \mathbb{R}^n$ $A^{-1}b$ $x^{(2)} =A^{-1}b$ . De fato, temos $\langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle =0$

\begin{aligned} ⟨ x^{(2)} - A^{- 1} b, A (x^{(2)} - A^{- 1} b) ⟩ & = {‖ x^{(2)} - A^{- 1} b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} {‖ (p (A) - A^{- 1}) b ‖}_{A}^{2} \\ = min_{p \in {p o l y}_{1}} \sum_{i = 1}^{n} (p (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} \\ \leq \sum_{i = 1}^{n} (\hat{p} (λ_{i}) - λ_{i}^{- 1})^{2} λ_{i} b_{i}^{2} = 0 \end{aligned}

$\begin{align*} \langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle &= \left\| x^{(2)}-A^{-1}b \right\|_A^2 \\ &=\min_{p\in \mathrm{poly}_{1} } \left\| (p(A)-A^{-1}) b \right\|_A^2\\ &=\min_{p\in \mathrm{poly}_{1} } \sum_{i=1}^n (p(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 \\ &\le \sum_{i=1}^n (\widehat{p}(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 = 0 \end{align*}$

$\widehat{p}$ $\widehat{p}(x)= (1+\kappa-x)/\kappa$ . So we proven the case for $x^{(0)}= 0$ .

If $x^{(0)} \not = 0$ , then $x^{(2)}= \overline{x^{(2)}}+ x^{(0)}$ where $\overline{x^{(2)} }$ is the second estimate of the CG algorithm with $b$ replaced with $\overline{b} = b-A x^{(0)}$ . So we have reduced this case to the previous one.

— fred
fonte

How much of this is robust to finite precision arithmetic?

— origimbo

@origimbo If your question was directed to me, the answer is, "I don't know."

— fred