Como o operador de barra invertida do MATLAB resolve

Eu estava comparando alguns dos meus códigos com os códigos "estoque" do MATLAB. Estou surpreso com os resultados.

Corri um código de exemplo (Sparse Matrix)

n = 5000;
a = diag(rand(n,1));
b = rand(n,1);
disp('For a\b');
tic;a\b;toc;
disp('For LU');
tic;LULU;toc;
disp('For Conj Grad');
tic;conjgrad(a,b,1e-8);toc;
disp('Inv(A)*B');
tic;inv(a)*b;toc;

Resultados :

    For a\b
    Elapsed time is 0.052838 seconds.

    For LU
    Elapsed time is 7.441331 seconds.

    For Conj Grad
    Elapsed time is 3.819182 seconds.

    Inv(A)*B
    Elapsed time is 38.511110 seconds.

Para matriz densa:

n = 2000;
a = rand(n,n);
b = rand(n,1);
disp('For a\b');
tic;a\b;toc;
disp('For LU');
tic;LULU;toc;
disp('For Conj Grad');
tic;conjgrad(a,b,1e-8);toc;
disp('For INV(A)*B');
tic;inv(a)*b;toc;

Resultados:

For a\b
Elapsed time is 0.575926 seconds.

For LU
Elapsed time is 0.654287 seconds.

For Conj Grad
Elapsed time is 9.875896 seconds.

Inv(A)*B
Elapsed time is 1.648074 seconds.

Como diabos é tão impressionante?

No Matlab, o comando '\' invoca um algoritmo que depende da estrutura da matriz A e inclui verificações (pequenas despesas gerais) nas propriedades de A.

1. Se A for escasso e com faixas, use um solucionador de faixas.
2. Se A for uma matriz triangular superior ou inferior, utilize um algoritmo de substituição para trás.
3. Se A é simétrico e possui elementos diagonais positivos reais, tente uma fatoração de Cholesky. Se A for escasso, use primeiro a reordenação para minimizar o preenchimento.
4. Se nenhum dos critérios acima for atendido, faça uma fatoração triangular geral usando a eliminação gaussiana com pivô parcial.
5. Se A for escasso, empregue a biblioteca UMFPACK.
6. Se A não for quadrado, utilize algoritmos baseados na fatoração QR para sistemas indeterminados.

Para reduzir a sobrecarga, é possível usar o comando linsolve no Matlab e selecionar um solucionador adequado entre essas opções.

Se você quiser ver o que a\bfaz para sua matriz em particular, pode definir spparms('spumoni',1)e descobrir exatamente qual algoritmo ficou impressionado. Por exemplo:

spparms('spumoni',1);
A = delsq(numgrid('B',256));
b = rand(size(A,2),1);
mldivide(A,b);  % another way to write A\b

irá produzir

sp\: bandwidth = 254+1+254.
sp\: is A diagonal? no.
sp\: is band density (0.01) > bandden (0.50) to try banded solver? no.
sp\: is A triangular? no.
sp\: is A morally triangular? no.
sp\: is A a candidate for Cholesky (symmetric, real positive diagonal)? yes.
sp\: is CHOLMOD's symbolic Cholesky factorization (with automatic reordering) successful? yes.
sp\: is CHOLMOD's numeric Cholesky factorization successful? yes.
sp\: is CHOLMOD's triangular solve successful? yes.

para que eu possa ver que "\" acabou usando "CHOLMOD" nesse caso.

Para matrizes esparsas, o Matlab usa UMFPACK para a \operação " ", que, no seu exemplo, basicamente percorre os valores de a, inverte-os e multiplica-os pelos valores de b. Para este exemplo, no entanto, você deve usar b./diag(a), o que é muito mais rápido.

Para sistemas densos, o operador de barra invertida é um pouco mais complicado. Uma breve descrição do que é feito quando é fornecida aqui . De acordo com essa descrição, no seu exemplo, o Matlab resolveria a\busando a substituição reversa. Para matrizes quadradas gerais, é usada uma decomposição LU.

Como regra geral, se você tem uma matriz esparsa de complexidade razoável (ou seja, não precisa ser o estêncil de 5 pontos, mas pode de fato ser uma discretização das equações de Stokes para as quais o número de não zeros por linha é muito maior que 5), um solucionador direto esparso, como o UMFPACK, geralmente vence um solucionador iterativo de Krylov se o problema não for maior que cerca de 100.000 incógnitas.

Em outras palavras, para a maioria das matrizes esparsas resultantes de discretizações 2D, um solucionador direto é a alternativa mais rápida. Somente para problemas em 3D nos quais você rapidamente ultrapassa as 100.000 incógnitas, torna-se imperativo usar um solucionador iterativo.