Por que a transformação no algoritmo de multiplicação de Schönhage – Strassen é barata?

O algoritmo de multiplicação de Schönhage-Strassen funciona transformando multiplicações de tamanho em muitas multiplicações de tamanho com uma transformação teórica numérica e recorrendo. Pelo menos eu acho que é o que faz, porque há alguma outra inteligência e eu realmente não a entendo o suficiente para resumir com precisão. Ele termina em . $N$ $lg(N)$ $O(N \cdot lg(N) \cdot lg(lg(N)))$

Uma transformação teórica numérica é exatamente como uma Transformada Discreta de Fourier , exceto que é feita no campo finito do número inteiro módulo . Isso torna as operações muito mais baratas, uma vez que a transformação de Fourier se multiplica por raízes da unidade, e as raízes da unidade de são todas potências de 2, para que possamos mudar! Além disso, números inteiros são muito mais fáceis de trabalhar do que números complexos de ponto flutuante. $F_{2^N+1}$ $2^N+1$ $F_{2^N+1}$

De qualquer forma, o que me confunde é que é muito grande. Se eu fornecer um elemento aleatório de , são necessários bits para especificá-lo. Portanto, a adição de dois elementos deve levar tempo . E a DFT faz muita adição. $F_{2^N+1}$ $F_{2^N+1}$ $O(N)$ $O(N)$

Schönhage – Strassen divide a entrada em grupos com bits . Esses grupos são os valores de que ele transformará. Cada passagem do DFT terá adições / subtrações, e há . Portanto, com base na adição que leva tempo , parece que o custo de todas essas adições deve ser , que é assintoticamente o mesmo que . $\frac{N}{lg(N)}$ $lg(N)$ $F_{2^N+1}$ $O(\frac{N}{lg(N)})$ $O(lg(\frac{N}{lg(N)}))$ $O(N)$ $O(N \frac{N}{lg(N)} lg(\frac{N}{lg(N)}))$ $O(N^2)$

Podemos fazer um pouco melhor que isso ... porque os valores começam muito pequenos, as adições são muito escassas. As adições da primeira passagem realmente custam apenas cada, e a segunda passagem 'custa cada, e a i-ésima passagem' custa cada, mas isso ainda totaliza um terrível . $O(lg(N))$ $2^1 O(lg(N))$ $O(min(N, 2^i \cdot lg(N)))$ $\frac{N^2}{lg(N)}$

Como Schönhage – Strassen está tornando as adições baratas? Quanto eles custam no geral?

É porque o algoritmo realmente usa (com garantido que é uma potência de 2)? Há bastante e alemão empilhados no jornal que eu realmente não tenho certeza. Por outro lado, não acho que isso garanta raízes de unidade suficientes para que as coisas funcionem. $F_{N+1}$ $N$ $2^{2^{n}}$

algorithm-analysis time-complexity multiplication

— Craig Gidney
fonte

Você leu o artigo da Wikipedia? No mínimo, não está em alemão. Segundo a Wikipedia, o tamanho é reduzido de para em cada etapa, o que ocorre desde então .

N

$N$

n \approx \sqrt{N}

$n \approx \sqrt{N}$

n^{2} = Θ (N)

$n^2 = \Theta(N)$

— Yuval Filmus

@Yuval Onde você vê no artigo? Há muitas "raízes primitivas" e um truque extra de otimização envolvendo raízes quadradas, mas, caso contrário, não a vejo. Eu vejo "Divida cada número de entrada nos vetores X e Y de partes cada, onde divide N.", mas nenhuma definição de .

n \approx \sqrt{N}

$n \approx \sqrt{N}$

2^{k}

$2^k$

2^{k}

$2^k$

k

$k$

— Craig Gidney

@Yuval Isso parece ajudar ... mas ainda há acréscimos de por passagem com cada custo . Portanto, um passe custa , o que é melhor, mas não é bom o suficiente.

O (\sqrt{N})

$O(\sqrt{N})$

O (N)

$O(N)$

O (N^{\frac{3}{2}})

$O(N^{\frac{3}{2}})$

— 22714 Craig Gidney

A configuração de aparece na frase "O número ideal de peças para dividir a entrada é proporcional a ." O valor de é então , portanto, cada adição custa .

k

$k$

\sqrt{N}

$\sqrt{N}$

n

$n$

2^{Θ (\sqrt{N})} + 1

$2^{\Theta(\sqrt{N})}+1$

O (\sqrt{N})

$O(\sqrt{N})$

— Yuval Filmus

Respostas:

De acordo com o artigo da Wikipedia , a cada etapa, o comprimento dos números inteiros é reduzido de para (aproximadamente) , e existem (aproximadamente) deles, e as adições custam apenas . Há uma análise detalhada do tempo de execução no parágrafo final da seção vinculada, copiada aqui, caso ela mude: $N$ $\sqrt{N}$ $\sqrt{N}$ $O(N)$

Na etapa recursiva, a observação é usada para:

Cada elemento dos vetores de entrada possui no máximo bits; $N/2^k$
O produto de quaisquer dois elementos do vetor de entrada possui no máximo bits; $2N/2^k$
Cada elemento da convolução é a soma de no máximo desses produtos e, portanto, não pode exceder bits. $2^k$ $2N/2^k + k$

Aqui é o comprimento de entrada atual e . A aritmética é feita no módulo , onde é algum múltiplo de que é maior que ; Observe que $N$ $k = \Theta(\sqrt{N})$ $2^n+1$ $n$ $2^k$ $2N/2^k + k$ $n = \Theta(\sqrt{N})$ .

— Yuval Filmus
fonte

Não entendo por que cada elemento da convolução não pode exceder

\frac{2 N}{2^{k}} + k

$\frac{2N}{2^k} + k$ bits. Eu entendo que se nós apenas os juntássemos sem nenhuma mudança, eles não seriam maiores do que isso, mas não estamos fazendo aritmética?

F_{2^{N} + 1}

$F_{2^N+1}$ e escalar coisas por enormes potências de 2? o

\sqrt{N}

$\sqrt{N}$ o elemento da convolução é

\sum_{i = 0}^{\sqrt{N}} x_{i} 2^{i \sqrt{N}}

$\sum_{i=0}^{\sqrt{N}} x_i 2^{i \sqrt{N}}$ , aumentando o poder

\sqrt{N}

$\sqrt{N}$ para cada elemento, para que ele não se beneficie da sobreposição de seus bits e exija

N

$N$ bits?

— Craig Gidney

As adições estão sendo feitas em

F_{2^{N} + 1}

$F_{2^N+1}$ ? O artigo diz que "é necessário usar um N menor para multiplicações recursivas", mas não está claro se essa redução é feita para as multiplicações de transformação e de ponto ou apenas para as multiplicações de ponto.

— Craig Gidney

O artigo da Wikipedia mistura

N

$N$ e

n

$n$ ; espero que isso esteja corrigido na minha resposta revisada. Aritmética é feita módulo

2^{n} + 1

$2^n+1$ , Onde

n = Θ (\sqrt{N})

$n = \Theta(\sqrt{N})$ . O vetor resultante pode então ser combinado para dar um módulo de resultado

2^{N} + 1

$2^N+1$ .

— Yuval Filmus

Reiterando, o truque é realizar um módulo aritmético de um módulo menor, cujo tamanho é compatível com o tamanho das peças. o

N

$N$ inteiros de um bit são divididos em aproximadamente

\sqrt{N}

$\sqrt{N}$ pedaços de comprimento

\sqrt{N}

$\sqrt{N}$ bits.

— Yuval Filmus

Ah, isso explica tudo então. Isso significaria o

l g (n)

$lg(n)$ A versão também é bastante rápida, uma vez que possui

l g (n)

$lg(n)$ operações dimensionadas. Se você pudesse explicitamente dizer isso em sua resposta, seria ótimo.

— Craig Gidney

Há uma excelente explicação sobre exatamente o que está acontecendo, incluindo como o tamanho do campo diminui à medida que você avança, na documentação do GMP: 15.1.6 Multiplicação FFT .

Uma visão geral mais aprofundada teoricamente começa na página 55 da Aritmética de computadores modernos (pdf) (bem ... o navegador diz a página 71, mas a própria página diz 55). Explica a correção do algoritmo e divide a análise de complexidade.

— Craig Gidney
fonte