Determinar rapidamente se uma matriz densa é ou não de classificação baixa

13

Em um projeto de software em que estou trabalhando, certos cálculos são muito mais fáceis para matrizes densas de baixa patente. Algumas instâncias de problemas envolvem matrizes densas de baixo escalão, mas são dadas a mim na íntegra, e não como fatores, portanto, terei que verificar o rank e fatorar a matriz se quiser tirar proveito da estrutura de baixo escalão .

As matrizes em questão são tipicamente total ou quase totalmente densas, com n variando de cem a alguns milhares. Se uma matriz tem uma classificação baixa (digamos menos de 5 a 10), vale a pena computar o SVD e usá-lo em uma fatoração de classificação baixa. No entanto, se a matriz não tiver uma classificação baixa, o esforço será desperdiçado.

Assim, eu gostaria de encontrar uma maneira rápida e razoavelmente confiável de determinar se a classificação é baixa ou não antes de investir no esforço de fazer uma fatoração completa de SVD. Se, a qualquer momento, ficar claro que a classificação está acima do ponto de corte, o processo poderá parar imediatamente. Se o procedimento declarar erroneamente que a matriz é de classificação baixa quando não é, isso não é um problema enorme, pois eu ainda estaria fazendo um SVD completo para confirmar a classificação baixa e encontrar uma fatoração de classificação baixa.

As opções que considerei incluem uma classificação que revela a fatoração LU ou QR seguida por um SVD completo como verificação. Existem outras abordagens que devo considerar?

— Brian Borchers
fonte

8

Há um truque interessante que aprendi recentemente neste artigo . Você começa a QR que revela a classificação e para após as primeiras reflexões de Household, quando você tem uma matriz da forma com triangular de tamanho e normalmente não triangular (desde que paramos após as primeiras iterações do loop principal). Neste ponto, você verificar se : se detiver, em seguida, $k$

[\begin{matrix} R_{1} & R_{12} \\ 0 & R_{22} \end{matrix}],

$\begin{bmatrix} R_1 & R_{12}\\ 0 & R_{22} \end{bmatrix},$

R_{1}

$R_1$

k \times k

$k\times k$

R_{22}

$R_{22}$

k

$k$

‖ R_{22} ‖ \leq ε

$\|R_{22}\| \leq \varepsilon$

A

$A$ está à distância no máximo

de uma matriz de posição

; caso contrário, não deveria ser (exceto erros numéricos).

ε

$\varepsilon$

\leq k

$\leq k$

Este procedimento custa para uma matriz densa . $O(n^2k)$ $n\times n$

— Federico Poloni
fonte

Essa é essencialmente a abordagem que descrevi na pergunta. Penso que a resposta proposta por Wolfgang Bangerth poderia fazer melhor que

.

O (n^{2} k)

$O(n^{2}k)$

— 22717 Brian Borchers

7

O problema, é claro, é que calcular a verdadeira classificação (por exemplo, por meio de uma decomposição QR) não é realmente mais barato do que calcular uma representação de baixo nível da matriz.

O melhor que você provavelmente pode fazer é usar um algoritmo aleatório para encontrar aproximações de classificação baixa. Estes podem, pelo menos em teoria, ser significativamente mais rápidos do que trabalhar em toda a matriz, porque, em essência, eles apenas calculam decomposições para projeções da matriz em subespaços aleatórios.

Se vale a pena para uma matriz de tamanho pode ser uma boa pergunta, mas se seus problemas realmente se tornarem grandes, eu suspeitaria que vale a pena. $100\times 100$

— Wolfgang Bangerth
fonte

Pelo que sei desses algoritmos, eles produzem uma matriz de baixo escalão, razoavelmente próxima da norma da matriz fornecida. Eu preciso saber se há ou não uma (por exemplo) rank-10 ou menos matriz que é muito próximo da matriz dada (dizem que um erro relativo de 1.0E-10 ou melhor.)

— Brian Borchers

Sim, mas você também pode fazer uma decomposição QR da matriz projetada (de baixa dimensão) e se essa decomposição revelar uma falta de classificação completa, você também terá uma matriz original com deficiência de classificação. Não era esse o critério necessário para decompor o QR na matriz original?

— Wolfgang Bangerth

k

$k$

k

$k$

k - 1

$k-1$

k

$k$

A

$A$

k

$k$

k

$k$

n

$n$

O (k^{2} n)

$O(k^{2}n)$

A

$A$

O (k n^{2})

$O(kn^{2})$

k = n

$k=n$

k

$k$

k n^{2} ≪ n^{3}

$kn^2\ll n^3$

1

Outra abordagem que vale a pena tentar é usar a Aproximação Cruzada Adaptativa (ACA). É um algoritmo bastante popular que tem muitas implementações disponíveis online. Para referência, você pode ver o artigo original:

SA Goreinov, EE Tyrtyshnikov, NL Zamarashkin, "Uma teoria das aproximações pseudo-esqueléticas", Linear Algebra Appl. vol. 261, n. 1–3, pp. 1–21, agosto de 1997.

O ACA e suas variações (digamos, ACA +, HCA de aproximação cruzada híbrida) podem ser usados em diferentes cenários. Você, já tendo toda a matriz densa calculada, é um dos favoráveis, pois poderá calcular os resíduos exatamente se necessário.

$\mathcal O(Nr)$ $N$ $r(\epsilon)$ $r$ $\epsilon$ $\mathcal O(N^2r)$

— Anton Menshov
fonte

0

$A$ $\to 0$ $x \to A \, x$ $A$ $A^T A$

$( A^T A ) \to$ $A$

from scipy.sparse.linalg import svds
sing = svds( A, k=20, tol=1e-4, return_singular_vectors=False )  # v0=random
# runtimes on random-normal n x n:
# n = 100, 1k, 2k
#       5, 130, 770 ms

— denis
fonte