Qual modelo computacional é usado para analisar o tempo de execução dos algoritmos de multiplicação de matrizes?

Embora eu já tenha aprendido algo sobre os tempos de execução assintóticos dos algoritmos de multiplicação de matrizes (algoritmo de Strassen e coisas semelhantes), nunca encontrei nenhuma referência explícita e satisfatória a um modelo de computação usado para medir essa complexidade. De fato, encontrei três respostas possíveis, nenhuma das quais me parece absolutamente satisfatória:

A Wikipedia diz que o modelo usado aqui é a Multitape Turing Machine. Isso não parece fazer muito sentido para mim, pois na análise da multiplicação de matrizes, a multiplicação escalar deve ter uma complexidade de tempo constante. Este não é o caso das máquinas de Turing.
Alguns textos descrevem a complexidade apenas vagamente como o número de operações aritméticas usadas. No entanto, o que exatamente são operações aritméticas neste contexto? Suponho que adição, multiplicação e provavelmente subtração. Mas e quanto à divisão, divisão inteira, restante, etc.? E as operações bit a bit - como elas se encaixam nessa configuração?
Finalmente, descobri recentemente um artigo, que usa a máquina BSS como modelo de computação. No entanto, isso também me parece um pouco estranho, pois, por exemplo, matrizes inteiras, não faz muito sentido desabilitar operações como, por exemplo, divisão inteira.

Eu ficaria grato a qualquer um que pudesse me ajudar a resolver essas coisas.

— 042
fonte

Por complexidade, nos preocupamos apenas com uma medida: etapas de uma TM. Na análise de algoritmos, é improvável que você obtenha algo mais preciso do que "número de operações básicas", que correspondem aproximadamente às operações elementares de acesso à ALU / memória nos processadores. Eu acho que você está pedindo análise de algoritmo, não complexidade do problema?

— Raphael

@Raphael "Por complexidade, nos preocupamos apenas com uma medida: etapas de uma TM." Desculpe, mas isso é completamente falso. Primeiro, existem muitos modelos de computação que não são máquinas de Turing: circuitos, por exemplo. Então você obtém coisas como complexidade geométrica e descritiva. Mesmo nos reinos das máquinas de Turing, o espaço é uma medida tão importante quanto o tempo. E que tipo de máquina de Turing? Máquinas determinísticas, não determinísticas, alternadas e probabilísticas têm requisitos de recursos diferentes. O acesso aleatório é significativo se você quiser classificações mais refinadas que "tempo polinomial".

— precisa saber é o seguinte

@DavidRicherby: Tudo verdade. Nossas declarações são compatíveis; Eu deveria ter deixado meu escopo mais claro. "Para complexidade do tempo, como considerado em aulas clássicas como P, NP etc, nós nos importamos ...".

— Raphael

@ Rafael Mas isso não é uma pergunta sobre P, NP, etc. É uma pergunta sobre um problema específico. Os limites superiores para qualquer problema envolvem análise de algoritmos, então não acho que seja realmente possível dividir os dois. Dito isto, sim, parece que a complexidade de Strassen e assim por diante é expressa em termos de "operações aritméticas", e não em qualquer modelo padrão de computação.

— precisa saber é o seguinte

Em relação à sua segunda abordagem (contando operações aritméticas): você pode simplesmente contar o número de cada operação (multiplicação, adição, operações bit a bit, etc.) separadamente. Você pode encontrar um exemplo em que isso é feito, por exemplo, em Sedgewick & Flajolet: Introdução à análise de algoritmos (lá eles analisam o Quicksort com muita precisão). Com a multiplicação de matrizes, acredito que o número de multiplicações envolvidas domina o resto, então, basicamente, você está contando isso.

— john_leo

Os algoritmos de multiplicação de matrizes são analisados em termos de complexidade aritmética . O modelo de computação é programas lineares com instruções do formulário $a \gets b \circ c$ , Onde $\circ \in \{ +,-,\times,\div \}$ , $a$ é uma variável e $b,c$ podem ser variáveis, entradas ou constantes. Além disso, certas variáveis são distinguidas como saídas . Por exemplo, aqui está como multiplicar dois $2\times 2$ matrizes usando o algoritmo usual, com matrizes de entrada $a_{ij},b_{ij}$ e matriz de saída $c_{ij}$ :

\begin{aligned} x_{11} & \leftarrow {uma}_{11} \times b_{11} & y_{11} & \leftarrow {uma}_{12} \times b_{21} & c_{11} & \leftarrow x_{11} + y_{11} \\ x_{12} & \leftarrow {uma}_{11} \times b_{12} & y_{12} & \leftarrow {uma}_{12} \times b_{22} & c_{12} & \leftarrow x_{12} + y_{12} \\ x_{21} & \leftarrow {uma}_{21} \times b_{11} & y_{21} & \leftarrow {uma}_{22} \times b_{21} & c_{21} & \leftarrow x_{21} + y_{21} \\ x_{22} & \leftarrow {uma}_{21} \times b_{12} & y_{22} & \leftarrow {uma}_{22} \times b_{22} & c_{22} & \leftarrow x_{22} + y_{22} \end{aligned}

$\begin{align*} x_{11} &\gets a_{11} \times b_{11} & y_{11} &\gets a_{12} \times b_{21} & c_{11} &\gets x_{11} + y_{11} \\ x_{12} &\gets a_{11} \times b_{12} & y_{12} &\gets a_{12} \times b_{22} & c_{12} &\gets x_{12} + y_{12} \\ x_{21} &\gets a_{21} \times b_{11} & y_{21} &\gets a_{22} \times b_{21} & c_{21} &\gets x_{21} + y_{21} \\ x_{22} &\gets a_{21} \times b_{12} & y_{22} &\gets a_{22} \times b_{22} & c_{22} &\gets x_{22} + y_{22} \end{align*}$ A medida de complexidade é o número de linhas no programa.

Para multiplicação de matrizes, pode-se provar uma forma normal para todos os algoritmos. Todo algoritmo pode ser convertido em um algoritmo da seguinte forma, ao custo de apenas um aumento multiplicativo constante na complexidade:

Certas combinações lineares $\alpha_i$ da matriz de entrada $a_{jk}$ são calculados.
Certas combinações lineares $\beta_i$ da matriz de entrada $b_{jk}$ são calculados.
$\gamma_i \to \alpha_i \times \beta_i$ .
Cada entrada na matriz de saída é uma combinação linear de $\gamma_i$ s.

Isso é conhecido como forma normal bilinear . No algoritmo de multiplicação de matrizes mostrado acima, $x_{jk},y_{jk}$ funcionar como o $\gamma_i$ , mas no algoritmo de Strassen as combinações lineares são mais interessantes; eles são o $M_i$ está na descrição da Wikipedia .

Usando uma abordagem de tensor (ou seja, aplicando recursivamente o mesmo algoritmo), semelhante à análise assintótica do algoritmo de Strassen, pode-se mostrar que, dado esse algoritmo para multiplicar $n\times n$ matriz com $r$ produtos (ie $r$ variáveis $\gamma_i$ ), então arbitrário $N\times N$ matrizes podem ser multiplicadas em complexidade $O(N^{\log_n r})$ ; portanto, apenas o número de produtos é importante assintoticamente. No algoritmo de Strassen, $n = 2$ e $r = 7$ e, portanto, o limite é $O(N^{\log_2 7})$ .

O problema de encontrar o número mínimo de produtos necessários para calcular a multiplicação de matrizes pode ser formulado como a classificação de um tensor de terceira ordem (uma "matriz" com três índices em vez de dois), e isso forma a conexão com a teoria da complexidade algébrica. Você pode encontrar mais informações neste livro ou nestas notas da aula (continuação aqui ).

A razão pela qual esse modelo é usado é dupla: primeiro, é muito simples e passível de análise; segundo, está intimamente relacionado ao modelo de RAM mais comum.

Programas lineares podem ser implementados no modelo de RAM, e a complexidade de ambos os modelos está fortemente relacionada: operações aritméticas têm custo unitário em várias variantes do modelo (por exemplo, o modelo de RAM com números reais) e, de outra forma, são polinomialmente relacionadas para o tamanho dos números. No caso da multiplicação de matrizes modulares, portanto, a complexidade aritmética fornece um limite superior à complexidade no modelo de RAM. No caso de multiplicação de matriz inteira ou racional, pode-se mostrar que, para algoritmos bilineares resultantes de tensorização, o tamanho dos números não cresce muito e, portanto, a complexidade aritmética fornece um limite superior para o modelo de RAM, até fatores logarítmicos .

Pode ser a priori que uma máquina de RAM possa fazer alguns truques aos quais o modelo aritmético não sabe. Mas geralmente queremos que os algoritmos de multiplicação de matrizes funcionem para matrizes em campos arbitrários (ou mesmo anéis) e, nesse caso, o algoritmo uniforme deve usar apenas as operações aritméticas especificadas pelo modelo. Portanto, este modelo é uma formalização de algoritmos "independentes de campo".

— Yuval Filmus
fonte

Existe um modelo de máquina de Turing?

— T ....

Acontece que você não precisa de um. Geralmente, introduz-se a máquina de Turing para introduzir uniformidade - um pedaço de código que funciona para todos

n

$n$ . Embora o modelo que descrevi não seja uniforme, é possível abordar o expoente ideal

ω

$\omega$ uniformemente, forçando brutalmente um bom algoritmo em algum tamanho de matriz muito menor que

n

$n$ .

— Yuval Filmus