Cálculo / estimativa rápidos de um sistema linear de baixo escalão

Os sistemas lineares de equações são difundidos nas estatísticas computacionais. Um sistema especial que encontrei (por exemplo, na análise fatorial) é o sistema

A x = b

$Ax=b$

onde Aqui é uma matriz diagonal com uma diagonal estritamente positiva, é uma matriz semi-definida positiva simétrica (com ) e é uma matriz arbitrária . Somos solicitados a resolver um sistema linear diagonal (fácil) que foi perturbado por uma matriz de baixo escalão. A maneira ingênua de resolver o problema acima é inverter usando a fórmula de Woodbury . No entanto, isso não parece certo, pois as fatorações de Cholesky e QR geralmente podem acelerar drasticamente a solução de sistemas lineares (e equações normais). Eu vim recentemente no

A = D + B Ω B^{T}

$A=D+ B \Omega B^T$

D

$D$

n \times n

$n\times n$

Ω

$\Omega$

m \times m

$m\times m$

m ≪ n

$m\ll n$

B

$B$

n \times m

$n\times m$

A

$A$ No artigo seguinte , isso parece adotar a abordagem de Cholesky e menciona a instabilidade numérica da inversão de Woodbury. No entanto, o artigo parece em rascunho e não consegui encontrar experimentos numéricos ou pesquisas de apoio. Qual é o estado da arte para resolver o problema que descrevi?

— gappy
fonte

@ gappy, você considerou usar a decomposição QR (ou Cholesky) para matriz (o termo do meio na fórmula de Woodburry)? As operações restantes são multiplicações simples de matriz. A principal fonte de instabilidade é o cálculo de . Desde eu suspeita que este pedido de QR ou de Cholesky combinado com Woodbury será mais rápido do que QR em toda matriz . É claro que isso não é um estado da arte, apenas observações gerais.

Ω^{- 1} + B D^{- 1} B^{T}

$\Omega^{-1}+BD^{-1}B^T$

Ω^{- 1}

$\Omega^{-1}$

m << n

$m<<n$

A

$A$

— mpiktas

Eu suspeito que o que Matthias Seeger defende está dentro do estado da arte, ele é um cara muito brilhante e esses tipos de problemas surgem repetidamente no tipo de modelos que ele investiga. Eu uso métodos baseados em Cholesky pelas mesmas razões. Suspeito que exista uma discussão em "Matrix Computations" de Golub e Van Loan, que é a referência padrão para esse tipo de coisa (embora eu não tenha minha cópia em mãos).

ϵ

$\epsilon$

— Dikran Marsupial

Observe que, ao tomar seu problema é equivalente à solução do sistema onde . Então, isso simplifica um pouco o problema. Agora, deixando , sabemos que é semidefinido positivo com no máximo valores próprios positivos. Como , encontrar os maiores valores próprios e os vetores próprios correspondentes pode ser feito de várias maneiras. A solução é então onde fornece a composição automática de

\bar{B} = D^{- 1 / 2} B

$\bar{B} = D^{-1/2} B$

(I + \bar{B} Ω {\bar{B}}^{T}) x = \bar{b}

$(I + \bar{B}\Omega \bar{B}^T)x = \bar{b}$

\bar{b} = D^{- 1 / 2} b

$\bar{b} = D^{-1/2} b$

Σ = \bar{B} Ω {\bar{B}}^{T}

$\Sigma = \bar{B} \Omega \bar{B}^T$

Σ

$\Sigma$

m

$m$

m ≪ n

$m \ll n$

m

$m$

x = Q (I + Λ)^{- 1} Q^{T} \bar{b}

$x = Q(I + \Lambda)^{-1} Q^T \bar{b}$

Σ = Q Λ Q^{T}

$\Sigma = Q \Lambda Q^T$

Σ

$\Sigma$ .

— cardeal

Pequenas correções: (1) O sistema equivalente é e (2) A solução final é . (Eu coloquei um na frente de nos dois casos.) Observe que todos os inversos são de matrizes diagonais e, portanto, são triviais.

(I + \bar{B} Ω {\bar{B}}^{T}) D^{1 / 2} x = \bar{b}

$(I + \bar{B} \Omega \bar{B}^T) D^{1/2} x = \bar{b}$

x = D^{- 1 / 2} Q (I + Λ)^{- 1} Q^{T} D^{- 1 / 2} b

$x = D^{-1/2} Q (I + \Lambda)^{-1} Q^T D^{-1/2} b$

D^{1 / 2}

$D^{1/2}$

x

$x$

— cardinal

@mpiktas: Eu acho que você quis dizer pois na versão que você escreveu o produto da matriz não está bem definido devido a uma incompatibilidade de dimensão. :)

Ω^{- 1} + B^{T} D^{- 1} B

$\Omega^{-1} + B^T D^{-1} B$

— cardeal

"Matrix Computations" de Golub & van Loan tem uma discussão detalhada no capítulo 12.5.1 sobre a atualização de fatorações QR e Cholesky após atualizações no rank-p.

— Fabian Pedregosa
fonte

Eu sei, e as funções relevantes do lapack são mencionadas no artigo que vinculei e no livro. Gostaria de saber, no entanto, qual é a melhor prática para o problema em questão, não para o problema genérico de atualização.

— gappy