O hardware / implementação afetará a complexidade de tempo / espaço dos algoritmos?

Eu nem sou estudante de CS, então essa pode ser uma pergunta estúpida, mas por favor, tenha paciência comigo ...

Na era pré-computador, só podemos implementar uma estrutura de dados de matriz com algo como uma matriz de gavetas. Como é necessário localizar a gaveta com o índice correspondente antes de extrair o valor, a complexidade de tempo da pesquisa de matriz é , assumindo a pesquisa binária.$O(log(n))$

No entanto, a invenção dos computadores fez uma grande diferença. Computadores modernos podem ler a partir de sua RAM tão rapidamente que agora consideramos a complexidade de tempo da pesquisa em array como (mesmo que tecnicamente não seja o caso, porque leva mais tempo para mover o registro por uma distância maior, etc.)$O(1)$

Outro exemplo são os dicionários Python. Embora se possa obter uma complexidade de acesso ao dicionário de com um método mágico sobrecarregado mal escrito (ou ridiculamente azarado, isto é, chaves com muitas colisões de hash), geralmente é considerado . Nesse caso, a complexidade do tempo depende da implementação da tabela de hash dos dicionários Python e da implementação das chaves das funções de hash.$O(n)$__hash__$O(1)$

Isso implica que o hardware / implementação pode afetar a complexidade do tempo dos algoritmos? (Embora os dois exemplos sejam sobre estruturas de dados em vez de algoritmos, os últimos são criados sobre a primeira e nunca ouvi falar da complexidade temporal das estruturas de dados, por isso estou usando o termo "algoritmos" aqui)

Para mim, os algoritmos são abstratos e conceituais, cujas propriedades como a complexidade do tempo / espaço não devem ser afetadas se elas são implementadas de uma maneira específica, mas são?

Certo. Certamente. Veja como conciliar seu desconforto.

Quando analisamos o tempo de execução dos algoritmos, fazemos isso com relação a um modelo específico de computação . O modelo de computação especifica coisas como o tempo que leva para executar cada operação básica (é uma consulta de matriz ou O ( 1 ) ?). O tempo de execução do algoritmo pode depender do modelo de computação.$O(\log n)$$O(1)$

Depois de escolher um modelo de computação, a análise do algoritmo é um exercício puramente abstrato, conceitual e matemático que não depende mais do hardware.

No entanto, na prática, geralmente queremos escolher um modelo de computação que reflita a realidade de nosso hardware - pelo menos em um grau razoável. Portanto, se o hardware mudar, podemos decidir analisar nossos algoritmos sob um modelo de computação diferente, mais apropriado ao novo hardware. É assim que o hardware pode afetar o tempo de execução.

A razão pela qual isso não é óbvio é porque, nas aulas introdutórias, geralmente não falamos sobre o modelo de computação. Apenas fazemos implicitamente algumas suposições, sem torná-las explícitas. Isso é razoável, para fins pedagógicos, mas tem um custo - esconde esse aspecto da análise. Agora você sabe.

Eu acho que há um mal-entendido fundamental na questão. Você compara uma pessoa que encontra um objeto em uma lista classificada (por exemplo, uma página específica de um livro, dado seu número) com um computador que procura um item de uma matriz.

$O(\log n)$$O(1)$

Portanto, sim, o hardware (ou seja, o modelo de computação) afeta o tempo de execução dos algoritmos, como explica o DW , mas não é nisso que o seu exemplo de acesso ao array parece se basear.

Não, o hardware não afeta a complexidade dos algoritmos.

Mas isso afeta a escolha do algoritmo e pode afetar a utilidade da análise de complexidade a um ponto em que a análise se torna praticamente sem sentido (ou apenas de interesse acadêmico).

Encontrar a gaveta direita (como acessar um elemento da matriz) usa o algoritmo "aberto enésimo elemento diretamente pelo índice", não o algoritmo "pesquisar linearmente" ou "fazer pesquisa binária". Os algoritmos não são alterados, mas a escolha.

Por outro lado, a própria análise de complexidade, ou melhor, sua significância, é afetada grandemente pelo hardware.

Muitos algoritmos estelares por sua análise de complexidade são de baixo desempenho ou até inúteis na prática, porque o fator constante insignificante não é de todo insignificante, mas dominante .

Ou porque suposições que antes eram verdadeiras (ou na maior parte verdadeiras) não são mais válidas. Por exemplo, toda operação é basicamente a mesma (apenas pequenas diferenças constantes que não importam) ou não faz diferença quais locais de memória você acessa em que ordem. Pela análise da complexidade, você pode concluir que algum algoritmo é muito superior, pois só precisa de tantas e muitas operações. Na prática, você pode achar que cada operação causa uma falta de cache garantida (ou pior ainda, falha de página), que introduz um k tão grande que não é mais insignificante, mas domina tudo.
Se o algoritmo A leva 500 operações para processar um conjunto de dados de um determinado tamanho e o algoritmo B leva apenas 5, mas B causa 5 falhas que queimam vinte milhões de ciclos cada, então, apesar do que a analise ou o bom senso podem lhe dizer, A é melhor.

Isso levou a surpresas engraçadas, como por exemplo, no Cuckoo Hashing, há alguns anos atrás. O que foi muito superior porque [longa lista de benefícios]. Após o hype esfriar, descobriu-se que era muito inferior porque garantia duas falhas de cache (falhas, para conjuntos de dados maiores) em todos os acessos.

Similar aconteceu com a identificação e processamento de subconjuntos de dados. Atualmente, a solução correta atualmente é: "faça tudo" , ou seja, em vez de descobrir o que você precisa avaliar e fazer isso, processe o conjunto de dados completo linearmente, mesmo que você precise apenas metade dele. Porque, acredite ou não, isso é mais rápido devido a erros de previsão de ramificação, falta de cache, falhas de página.
Precisa ler os primeiros 8kB e os últimos 3kB de um arquivo de 3MB? Bem, leia o arquivo completo e jogue fora o que você não quer, porque procurar no meio será dez vezes mais lento do que apenas ler a coisa completa.

Use um mapa porque possui complexidade logarítmica? Ou uma tabela de hash, que tem tempo de acesso constante? Constant parece incrível. Bem, para qualquer coisa com menos de mil coisas (dependendo do hardware, tamanho dos dados e padrão de acesso), uma pesquisa linear pode ser tão boa ou melhor. Surpresa.

Portanto, não são os algoritmos per se que são afetados, mas sua utilidade e escolha.