Requisito de memória para multiplicação rápida de matrizes

Suponha que desejamos multiplicar matrizes. O algoritmo de multiplicação de matriz lenta é executado no tempo e usa memória . A multiplicação mais rápida da matriz ocorre no tempo , onde é a álgebra linear constante, mas o que se sabe sobre sua complexidade de memória? $n \times n$ $O(n^3)$ $O(n^2)$ $n^{\omega + o(1)}$ $\omega$

Parece que é possível a priori que a rápida multiplicação de matrizes consuma memória. Existe alguma garantia de que isso possa ser feito na memória ? É o caso de os algoritmos de multiplicação de matriz atualmente conhecidos usarem memória ? $n^{\omega}$ $O(n^2)$ $O(n^2)$

(Na verdade, estou interessado na multiplicação de matrizes retangulares, mas presumo que a resposta seja a mesma nesse caso que no caso quadrado e o caso quadrado seja melhor estudado.)

ds.algorithms linear-algebra

— David Harris
fonte

O uso de espaço é no máximo para todos os algoritmos do tipo Strassen (ou seja, aqueles baseados no limite superior do ranking de multiplicação de matrizes algebricamente). Consulte Complexidade espacial do algoritmo Coppersmith – Winograd $O(n^2)$

No entanto, percebi na minha resposta anterior que não expliquei por que o uso do espaço é ... então aqui vai algo ondulado à mão. Considere o que um algoritmo do tipo Strassen faz. Começa a partir de um algoritmo fixo para matriz de multiplicação que usa multiplicações para alguma constante . Em particular, esse algoritmo (seja ele qual for) pode ser escrito no WLOG para que: $O(n^2)$ $K \times K$ $K^c$ $c < 3$

Ele calcula diferentes matrizes que multiplicam as entradas da primeira matriz por vários escalares e matrizes da segunda matriz de uma forma semelhante, $K^c$ $L_1,\ldots,L_{K^c}$ $A$ $K^c$ $R_1,\ldots,R_{K^c}$ $B$
Multiplica essas combinações lineares , em seguida, $L_i \cdot R_i$
Multiplica entradas de por vários escalares, em seguida, adiciona todas essas matrizes acima entrywise obter . $L_i \cdot R_i$ $A \cdot B$

(Esse é um algoritmo chamado "bilinear", mas acontece que todo algoritmo de multiplicação de matrizes "algébrico" pode ser escrito dessa maneira.) Para cada , esse algoritmo precisa apenas armazenar o produto atual e o valor atual de (inicialmente definido como todos os zeros) na memória em um determinado ponto, portanto, o uso do espaço é . $i=1,\ldots,K^c$ $L_i \cdot R_i$ $A \cdot B$ $O(K^2)$

Dado este algoritmo finito, isto é, em seguida, estendida para arbitrária matrizes, por quebrar as grandes matrizes em blocos de dimensões , aplicando-se o finito algoritmo para o bloco matrizes e chamando recursivamente o algoritmo sempre que precisar multiplicar dois blocos. Em cada nível de recursão, precisamos manter apenas os elementos do campo na memória (armazenando $K^{\ell} \times K^{\ell}$ $K \times K$ $K^{\ell-1}\times K^{\ell-1}$ $K \times K$ $O(K^{2\ell})$ $O(1)$ diferente matrizes). Supondo que o uso de espaço para a multiplicação da matriz seja , o uso de espaço desse algoritmo recursivo é , que para $K^{\ell} \times K^{\ell}$ $K^{\ell-1}\times K^{\ell-1}$ $S(\ell-1)$ $S(\ell) \leq S(\ell-1) + O(K^{2\ell})$ $S(1) = 2K^2$ resolve para . $S(\ell) \leq O(K^{2\ell})$

— Ryan Williams
fonte

Para qualquer algoritmo no estilo Strassen, isso me parece correto. Mas Coppersmith-Winograd também provou que chegar a

realmente requer uma sequência infinita de algoritmos no estilo Strassen, cada um dos quais se aproxima cada vez mais do verdadeiro expoente. De fato, os algoritmos no estilo CW e no estilo CU fornecem essas seqüências (embora não se aproximem de

, tanto quanto sabemos). Sobre os racionais, é possível que as constantes usadas nessa sequência cresçam muito rapidamente, para que "o algoritmo "

possa acabar usando o espaço

n^{ω}

$n^\omega$

ω

$\omega$

n^{ω}

$n^\omega$

ω (n^{2})

$\omega(n^2)$

— Joshua Grochow

... Mas, pelo seu argumento, sempre é possível obter um algoritmo no tempo

e no espaço

para qualquer

O (n^{ω + δ})

$O(n^{\omega + \delta})$

O (n^{2})

$O(n^2)$

δ > 0

$\delta > 0$

— Joshua Grochow

f (i) * n^{2}

$f(i) * n^2$

i = 0, . . ., k

$i = 0, ..., k$

n^{ω + o (1)}

$n^{\omega+o(1)}$

n^{2 + o (1)}

$n^{2+o(1)}$

k

$k$

f

$f$

k

$k$

f^{- 1}

$f^{-1}$

f

$f$

k

$k$

k

$k$

n^{2 + o (1)}

$n^{2+o(1)}$

n

$n$

k

$k$

k

$k$

n

$n$

f (k (n)) = n^{o (1)}

$f(k(n)) = n^{o(1)}$

k (n) \to \infty

$k(n) \rightarrow \infty$

n

$n$

n^{ω + o (1)}

$n^{\omega+o(1)}$

$p$ $O(n^2/p)$

— Alexander Tiskin
fonte