Que limites, se houver, o problema da parada coloca na Inteligência Artificial?

Dado o problema comprovado de parada das máquinas de Turing , podemos inferir limites à capacidade de uma forte inteligência artificial?

O problema da parada implica algum limite na cognição humana?

Sim, absolutamente - que existem trechos de código que um ser humano pode olhar e não ter certeza se ele irá ou não parar em um tempo finito. (Certamente, existem partes do código que um ser humano pode olhar e dizer "sim" ou "não" definitivamente, mas estamos falando sobre as que são realmente difíceis de analisar.)

O problema de parada significa que existem tipos de análise de código que nenhum computador poderia fazer, porque é matematicamente impossível. Mas o campo da possibilidade ainda é grande o suficiente para permitir uma forte inteligência artificial (no sentido de código que pode se entender bem o suficiente para melhorar a si mesmo).

O problema da parada é um exemplo de um fenômeno geral conhecido como Indecidibilidade , que mostra que existem problemas que nenhuma máquina de Turing pode resolver em tempo finito. Vamos considerar a generalização de que é indecidível se uma Máquina de Turing satisfaz alguma propriedade não trivial P, chamada teorema de Rice .

Primeiro, observe que o problema de parada se aplica apenas se a máquina de Turing receber uma entrada arbitrariamente longa. Se a entrada estiver delimitada, é possível enumerar todos os casos possíveis e o problema não é mais indecidível. Ainda pode ser ineficiente calculá-lo, mas depois estamos nos voltando para a teoria da complexidade, que deve ser uma pergunta separada.

O teorema de Rice implica que uma inteligência (humana) não pode determinar se outra inteligência (como uma AGI) possui uma certa propriedade, como ser amigável . Isso não significa que não podemos projetar uma AGI Amigável, mas significa que não podemos verificar se uma AGI arbitrária é amigável. Portanto, embora possamos criar uma AI que seja garantida como amigável, também precisamos garantir que a TI não possa criar outra AI que não seja amigável.