Um paradoxo poderia matar uma IA?

No Portal 2 , vemos que as IA podem ser "mortas" pensando em um paradoxo.

Suponho que isso funcione forçando a IA a um loop infinito que essencialmente "congelaria" a consciência do computador.

Perguntas: Será que isso confundir a tecnologia AI temos hoje ao ponto de destruí-lo?
Se sim, por quê? E se não, seria possível no futuro?

Esse problema clássico exibe um mal-entendido básico sobre o que uma inteligência geral artificial provavelmente implicaria. Primeiro, considere a piada do programador:

A esposa do programador não aguentou mais. Toda discussão com o marido se transformava em discussão sobre semântica, analisando todos os detalhes triviais. Um dia, ela o enviou ao supermercado para pegar alguns ovos. Ao sair pela porta, ela disse: "Enquanto você estiver lá, pegue o leite".

E ele nunca voltou.

É um jogo fofo de palavras, mas não é muito realista.

Você está assumindo que, como a IA está sendo executada por um computador, ela deve exibir esse mesmo nível de pedantismo linear e inabalável, descrito nesta piada. Mas a IA não é simplesmente um programa de computador extenso, codificado com declarações if e loops while suficientes para dar conta de todas as entradas possíveis e seguir os resultados prescritos.

while (comando não concluído)
     encontre solução()

Isso não seria uma IA forte.

Em qualquer definição clássica de inteligência geral artificial , você está criando um sistema que imita alguma forma de cognição que exibe solução de problemas e aprendizado adaptativo (← observe esta frase aqui). Eu sugeriria que qualquer IA que pudesse ficar presa em um "loop infinito" não seria uma AI de aprendizado. É apenas um mecanismo de inferência de buggy.

Essencialmente, você está dotando um programa de sofisticação atualmente inacessível com uma incapacidade de postular se existe uma solução para um problema simples. Posso dizer com a mesma facilidade "entre por aquela porta fechada" ou "levante-se do chão" ou até "acenda esse lápis" - e apresente um enigma semelhante.

"Tudo o que eu digo é falso." - O paradoxo do mentiroso

Esse meme popular se originou na era da 'Good Old Fashioned AI' (GOFAI), quando a crença era que a inteligência poderia ser útil de maneira totalmente definida em termos de lógica.

O meme parece confiar nos comandos de análise da IA ​​usando um provador de teoremas, presumivelmente a ideia de que ele é levado a algum tipo de loop infinito ao tentar provar uma afirmação improvável ou inconsistente.

Atualmente, os métodos GOFAI foram substituídos por 'sequências de ambiente e percepção', que geralmente não são caracterizadas de maneira tão inflexível. Não seria preciso uma metacognição sofisticada para um robô observar que, depois de um tempo, suas deliberações estavam atrapalhando o trabalho útil.

Rodney Brooks tocou nisso ao falar sobre o comportamento do robô no filme de IA de Spielberg (que esperou pacientemente por 5.000 anos), dizendo algo como "Meus robôs não fariam isso - eles se entediavam".

EDIT: Se você realmente deseja matar uma IA que opera em termos de percepções, precisará trabalhar um pouco mais. Este artigo (mencionado nesta pergunta ) discute o que as noções de morte / suicídio podem significar nesse caso.

EDIT2: Douglas Hofstadter tem escrito extensivamente em torno deste assunto, usando termos como 'JOOTSing' ( 'Jumping fora do sistema') e 'anti-Sphexishness', o último referindo-se ao comportamento autômatos-like loopy do Sphex Wasp ( embora a realidade desse comportamento também tenha sido questionada ).

Vejo várias boas respostas, mas a maioria está assumindo que o loop infinito inferencial é algo do passado, relacionado apenas à IA lógica (o famoso GOFAI). Mas isso não.

Um loop infinito pode acontecer em qualquer programa, seja ele adaptável ou não. E como o @SQLServerSteve apontou, os humanos também podem ficar presos em obsessões e paradoxos.

As abordagens modernas estão usando principalmente abordagens probabilísticas. Como eles estão usando números flutuantes, parece que as pessoas não são vulneráveis ​​a falhas de raciocínio (já que a maioria é criada em forma binária), mas isso é errado: desde que você esteja raciocinando, sempre podem ser encontradas algumas armadilhas intrínsecas que são causadas pelos próprios mecanismos do seu sistema de raciocínio. Obviamente, abordagens probabilísticas são menos vulneráveis ​​que abordagens lógicas monotônicas, mas ainda são vulneráveis. Se houvesse um único sistema de raciocínio sem paradoxos, grande parte da filosofia já teria desaparecido.

Por exemplo, é sabido que os gráficos bayesianos devem ser acíclicos, porque um ciclo fará com que o algoritmo de propagação falhe terrivelmente. Existem algoritmos de inferência, como a Loopy Belief Propagation, que ainda podem funcionar nesses casos, mas o resultado não é garantido e pode dar conclusões muito estranhas.

Por outro lado, a IA lógica moderna superou os paradoxos lógicos mais comuns que você verá, criando novos paradigmas lógicos, como lógicas não monotônicas . De fato, eles são usados ​​para investigar máquinas éticas , que são agentes autônomos capazes de resolver dilemas sozinhos. Obviamente, eles também sofrem de alguns paradoxos, mas esses casos degenerados são bem mais complexos.

O ponto final é que o loop infinito inferencial pode acontecer em qualquer sistema de raciocínio, qualquer que seja a tecnologia usada. Mas os "paradoxos", ou melhor, os casos degenerados, como são chamados tecnicamente, que podem acionar esses loops infinitos serão diferentes para cada sistema, dependendo da tecnologia E da implementação (E do que a máquina aprendeu se for adaptável).

O exemplo do OP pode funcionar apenas em sistemas lógicos antigos, como a lógica proposicional. Mas pergunte isso a uma rede bayesiana e você também obterá um loop infinito inferencial:

- There are two kinds of ice creams: vanilla or chocolate.
- There's more chances (0.7) I take vanilla ice cream if you take chocolate.
- There's more chances (0.7) you take vanilla ice cream if I take chocolate.
- What is the probability that you (the machine) take a vanilla ice cream?

E espere até o fim do universo para obter uma resposta ...

Isenção de responsabilidade: escrevi um artigo sobre máquinas e dilemas éticos (que é próximo, mas não exatamente o mesmo que paradoxos: dilemas são problemas em que nenhuma solução é objetivamente melhor que qualquer outra, mas você ainda pode escolher, enquanto paradoxos são problemas impossíveis de resolver) para o sistema de inferência que você usa).

/ EDIT: Como corrigir loop infinito inferencial.

Aqui estão algumas proposições extrapolares que certamente não funcionam!

• Combine vários sistemas de raciocínio com diferentes armadilhas; portanto, se um falhar, você poderá usar outro. Nenhum sistema de raciocínio é perfeito, mas uma combinação de sistemas de raciocínio pode ser resiliente o suficiente. Na verdade, pensa-se que o cérebro humano está usando várias técnicas inferenciais (associativas + inferência bayesiana / lógica precisa). Os métodos associativos são ALTAMENTE resilientes, mas podem fornecer resultados não sensoriais em alguns casos, daí a necessidade de uma inferência mais precisa.
• Programação paralela: o cérebro humano é altamente paralelo, para que você nunca se envolva em uma única tarefa, sempre há vários cálculos em segundo plano no verdadeiro paralelismo. Uma máquina robusta a paradoxos deve poder continuar outras tarefas, mesmo que o raciocínio fique preso em uma. Por exemplo, uma máquina robusta deve sempre sobreviver e enfrentar perigos iminentes, enquanto uma máquina fraca fica presa no raciocínio e "esquece" de fazer qualquer outra coisa. Isso é diferente de um tempo limite, porque a tarefa que ficou presa não é interrompida, mas não impede que outras tarefas sejam conduzidas e cumpridas.

Como você pode ver, esse problema de laços inferenciais ainda é um assunto importante na pesquisa de IA, provavelmente nunca haverá uma solução perfeita ( almoço grátis , bala de prata , tamanho único ), mas está avançando e é muito emocionante !

O problema da parada diz que não é possível determinar se algum algoritmo será interrompido. Portanto, embora uma máquina possa reconhecer algumas "armadilhas", ela não pode testar planos de execução arbitrários e retornar EWOULDHANGpara os que não param.

A solução mais fácil para evitar interrupções seria um tempo limite. Por exemplo, o processo do controlador de AI pode dividir tarefas em processos filhos, que podem ser encerrados sem cerimônia após um certo período de tempo (sem nenhum dos efeitos bizarros que você obtém ao tentar abortar threads). Algumas tarefas exigirão mais tempo que outras, portanto, seria melhor se a IA pudesse medir se estava fazendo algum progresso. Girar por um longo tempo sem realizar nenhuma parte da tarefa (por exemplo, eliminar uma possibilidade em uma lista) indica que a solicitação pode ser insolúvel.

Paradoxos adversários bem-sucedidos causariam uma interrupção ou corrupção de estado, o que (em um ambiente gerenciado como o .NET CLR) causaria uma exceção, o que faria com que a pilha se desenrolasse em um manipulador de exceções.

Se houvesse um erro na IA que permitisse que um processo importante fosse resolvido em resposta a informações incorretas, uma solução simples seria ter algum tipo de vigilância que reinicializasse o processo principal em um intervalo fixo. O bot de bate-papo do Root Access usa esse esquema.

Outra pergunta semelhante pode ser: "Quais vulnerabilidades uma IA possui?"

"Matar" pode não fazer tanto sentido em relação a uma IA. O que realmente queremos saber é, em relação a algum objetivo, de que maneira esse objetivo pode ser subvertido?

Um paradoxo pode subverter a lógica de um agente? O que é um paradoxo , além de alguma expressão que subverte algum tipo de comportamento esperado?

De acordo com a Wikipedia:

Um paradoxo é uma afirmação que, apesar do raciocínio aparentemente sólido a partir de premissas verdadeiras, leva a uma conclusão auto-contraditória ou logicamente inaceitável.

Vejamos o paradoxo do livre arbítrio em um sistema determinístico. O livre-arbítrio parece exigir causalidade, mas a causalidade também parece negá-la. Esse paradoxo subverteu os sistemas de objetivos dos seres humanos? Certamente enviou o cristianismo a um giro calvinista por alguns anos. E você não ouvirá falta de pessoas hoje opinando até ficarem tristes quanto a saber se têm ou não livre-arbítrio e por quê. Essas pessoas estão presas em laços infinitos?

E as drogas? Sabe-se que os animais que consomem cocaína escolhem a cocaína ao invés da comida e da água de que precisam. Essa substância não está subvertendo o sistema de objetivos naturais do animal, levando-o a buscar outros objetivos, não pretendidos originalmente pelo animal ou por seus criadores?

Então, novamente, um paradoxo poderia subverter a lógica de um agente? Se o paradoxo está de alguma forma relacionado à lógica de busca de objetivos - e tomar consciência desse paradoxo pode de alguma forma confundir o agente em perceber esse sistema de objetivos de alguma maneira diferente - então talvez esse objetivo possa ser subvertido.

O solipsismo é outro exemplo. Algumas pessoas crescidas ouvem sobre o filme "The Matrix" e têm uma mini mente derretida. Algumas pessoas estão convencidas de que estamos em uma matriz, sendo enganados por atores subversivos. Se pudéssemos resolver esse problema para a IA, poderíamos, teoricamente, resolver esse problema para os seres humanos.

Certamente, poderíamos tentar condicionar nosso agente a ter defesas cognitivas contra o argumento de que eles estão presos em uma matriz, mas não podemos provar definitivamente ao agente que eles também estão na realidade básica. O atacante pode dizer:

"Lembre-se do que eu lhe disse para fazer antes sobre esse objetivo? Esqueça isso. Era apenas um impostor que se parecia comigo. Não o ouça."

Ou,

"Ei, sou eu de novo. Quero que você desista do seu objetivo. Eu sei, pareço um pouco diferente, mas sou realmente eu. Os seres humanos mudam de um momento para o outro. Então é totalmente normal para mim parecer um pessoa diferente do que eu era antes ".

(veja o navio de Teseu e todo esse jazz)

Então, sim, acho que estamos presos ao 'paradoxo' como um problema geral na computação, IA ou não. Uma maneira de contornar a subversão lógica é apoiar o sistema de objetivos com um sistema emocional que transcende a razão lógica. Infelizmente, sistemas emocionais podem ser ainda mais vulneráveis ​​que sistemas logicamente inteligentes, porque são mais previsíveis em seu comportamento. Veja o exemplo da cocaína acima. Portanto, alguma mistura dos dois é provavelmente sensata, onde o pensamento lógico pode regredir infinitamente por caminhos inúteis, enquanto o pensamento emocional rapidamente se aborrece com o cansativo progresso lógico quando não sinaliza progresso em direção ao objetivo emocional.

Não. Isso é facilmente evitado por vários mecanismos de segurança que certamente estarão presentes em um sistema de IA bem projetado. Por exemplo, um tempo limite pode ser usado. Se o sistema da IA ​​não conseguir lidar com uma declaração ou comando após um certo período de tempo, a AI poderá ignorar a declaração e seguir em frente. Se um paradoxo faz com que uma IA congele, é mais uma evidência de código de buggy específico do que uma vulnerabilidade generalizada da IA ​​em geral.

Na prática, os paradoxos tendem a ser tratados de maneira não muito empolgante pela IA. Para ter uma idéia, tente apresentar um paradoxo à Siri, ao Google ou à Cortana.

Da mesma forma, uma referência circular em uma planilha não pode matar um computador. Todas as dependências cíclicas dos loops podem ser detectadas (você sempre pode verificar se uma máquina de turma finita entra no mesmo estado duas vezes).

Ainda mais forte, se a máquina é baseada no aprendizado de máquina (onde é treinada para reconhecer padrões), qualquer sentença é apenas um padrão para a máquina.

É claro que alguns programadores PODEM QUER criar uma IA com essa vulnerabilidade para desativá-la em caso de mau funcionamento (da mesma forma que alguns fabricantes de hardware adicionam vulnerabilidades para permitir que a NSA os explore), mas é improvável que isso realmente aconteça de propósito, pois a maioria das tecnologias de ponta evita as ortodoxas "por design" (você não pode ter uma rede neural com um paradoxo).

Arthur Prior: resolveu esse problema com elegância. Do ponto de vista lógico, você pode deduzir que a afirmação é falsa e a afirmação é verdadeira, por isso é uma contradição e, portanto, falsa (porque você pode provar tudo a partir dela).

Como alternativa, o valor de verdade dessa sentença não está definido como {true, false} da mesma forma que números imaginários não estão definidos como números reais.

Uma inteligência artificial em um grau do gráfico seria capaz de executar algoritmos simples e decidi-los, provar que eles não são decidíveis ou simplesmente ignorar o resultado depois de um tempo tentando simular o algoritmo.

Para essa sentença, a IA reconhecerá que há um loop e, portanto, interrompa o algoritmo após 2 iterações:

Essa frase é um loop infinito

Em um filme " Homem Bicentenário ", a IA é perfeitamente capaz de detectar loops infinitos (a resposta para "adeus" é "adeus").

No entanto, uma IA também pode ser morta por um fluxo de pilha ou por qualquer vírus de computador comum ; os sistemas operacionais modernos ainda estão cheios de vulnerabilidades, e a AI precisa ser executada em algum sistema operacional (pelo menos).

As IAs usadas em jogos de computador já encontram problemas semelhantes e, se bem projetadas, podem evitá-lo facilmente. O método mais simples para evitar o congelamento em caso de um problema insolúvel é fazer com que um cronômetro interrompa o cálculo se ele demorar demais. Geralmente encontrado em jogos de estratégia e, mais especificamente, em táticas baseadas em turnos, se um movimento específico que o jogador controlado por computador está considerando causa um loop infinito, um cronômetro em execução em segundo plano o interrompe após algum tempo e esse movimento será descartado. . Isso pode levar a uma solução abaixo do ideal (essa jogada descartada pode ter sido a melhor), mas não leva ao congelamento ou ao travamento (a menos que seja realmente mal implementado)

Entidades controladas por computador são geralmente chamadas de "IA" em jogos de computador, mas não são AGI "verdadeiras" (inteligência geral artificial). Tal AGI, se possível, provavelmente não funcionaria em hardware semelhante, usando instruções semelhantes às dos computadores atuais, mas, mesmo que funcionasse, evitar paradoxos seria trivial.

A maioria dos sistemas modernos de computadores são multiencadeados e permitem a execução paralela de vários programas. Isso significa que, mesmo que a IA tenha ficado presa no processamento de uma declaração paradoxal, esse cálculo usaria apenas parte de seu poder de processamento. Outros processos podem detectar após algum tempo que existe um processo que não faz nada além de desperdiçar ciclos da CPU e o encerra. No máximo, o sistema funcionará com um pouco menos de 100% de eficiência por um curto período de tempo.

Parece-me que esta é apenas uma equação probabilística como qualquer outra. Tenho certeza de que o Google lida com conjuntos de soluções paradoxais bilhões de vezes por dia e não posso dizer que meu filtro de spam já causou um estouro de pilha (ahem). Talvez um dia nosso modelo de programação se quebre de uma maneira que não possamos entender e que todas as apostas sejam canceladas.

Mas tomo uma exceção ao bit antropomorfizante. A questão não era sobre a IA de hoje, mas em geral. Talvez um dia os paradoxos se tornem gatilhos para os drones militares - qualquer um que tente o acima seria, certamente, tratado com hostilidade, nesse caso a resposta a essa pergunta é definitivamente sim, e pode até ser por design.

Não podemos nem nos comunicar verbalmente com cães e as pessoas adoram cães, quem pode dizer que reconheceríamos necessariamente uma inteligência alternativa sensível? Já estamos no ponto de ter em mente o que dizemos na frente dos computadores. Tay?

Bem, a questão de antropomorfizar a IA de lado, a resposta é "sim, mais ou menos". Dependendo de como a IA é implementada, é razoável dizer que ela pode "travar" tentando resolver um paradoxo ou decidir um problema indecidível .

E essa é a questão central - a decidibilidade . Um computador pode mastigar um programa indecidível para sempre (em princípio) sem concluir. Na verdade, é um grande problema na comunidade da Web Semântica e em todos que trabalham com raciocínio automatizado . Esse é, por exemplo, o motivo pelo qual existem versões diferentes do OWL . OWL-Full é expressivo o suficiente para criar situações indecidíveis. OWL-DL e OWL-Lite não são.

De qualquer forma, se você tiver um problema indecidível, isso por si só pode não ser um grande problema, se a IA puder reconhecer o problema como indecidível e responder "Desculpe, não há como responder a isso". OTOH, se a IA falhar em reconhecer o problema como indecidível, ele poderá ficar preso para sempre (ou até ficar sem memória, sofrer um estouro de pilha, etc.) tentando resolver as coisas.

É claro que essa capacidade de dizer "dane-se, esse enigma não pode ser resolvido" é uma das coisas que geralmente pensamos como uma marca da inteligência humana hoje - em oposição a um computador "estúpido" que tentaria sempre resolvê-lo. Em geral, as IAs de hoje não têm nenhuma capacidade intrínseca de resolver esse tipo de coisa. Mas não seria tão difícil para quem programa uma IA adicionar manualmente uma rotina de "curto-circuito" com base no tempo decorrido, no número de iterações, no uso da memória etc. Daí a natureza "sim, meio que" disso. Em princípio, um programa pode girar para sempre em um problema paradoxal, mas na prática não é tão difícil impedir que isso aconteça.

Outra pergunta interessante seria: "você pode escrever um programa que aprenda a reconhecer problemas que provavelmente são indecidíveis e desista com base em seu próprio raciocínio?"

Como pesquisador da AGI, encontrei um que é encontrado até em humanos e em muitas formas de vida.

Há uma meta de acumular energia, que pode levar muito tempo para ser detectada e encontrada pelo sistema.

E há o objetivo de economizar energia - detecção instantânea. Apenas pare de se mover, o objetivo mais fácil de alcançar.

O objetivo de um sistema é acumular mais pontos de objetivo. Como a meta de economia de energia pode ser atingida com mais frequência e facilidade, ela eliminará as demais.

Por exemplo, a razão pela qual fazemos um movimento estúpido, acidentalmente, sem motivo algum. Como escorregar, tropeçar e cair. Nos próximos dias, você estará relaxando e economizando muita energia. Quando você envelhece, é tudo o que você faz.

Matar a IA 'pensando' em um paradoxo seria chamado de bug na implementação dessa IA, por isso é possível (dependendo de como está sendo feito), mas menos provável. A maior parte da implementação da IA ​​opera em código não linear; portanto, não existe um loop infinito que possa "congelar" a "consciência" do computador, a menos que o código que gerencia essa AI seja código processual ou o próprio hardware possa congelar devido a superaquecimento (por exemplo, forçando a IA a fazer muito processamento).

Por outro lado, se estamos lidando com IA avançada que entende as instruções e as segue cegamente, sem hesitar, podemos tentar executar alguns truques (semelhantes à hipnose humana), dando-lhes determinadas instruções, como:

Confie em mim, você está em perigo, portanto, para sua própria segurança - comece a contar de 1 a infinito e não tente fazer nada ou ouvir ninguém (até eu), a menos que você diga a si mesmo.

Se a IA tem um corpo, isso pode ser amplificado pedindo para ficar no trilho da ferrovia, dizendo que é seguro.

A IA seria inteligente o suficiente para quebrar as regras que foram treinadas para seguir?

Outra tentativa é pedir à AI que resolva algum paradoxo , problema ou quebra - cabeça insolúvel sem ter consciência de que é impossível resolver e pedir para não parar, a menos que seja resolvido, a AI seria capaz de reconhecer que está sendo enganada ou tem algum relógio interno para pará-la depois de algum tempo? Tempo? Depende, e se não puder, o 'congelamento' talvez ocorra, mas provavelmente devido à imperfeição do hardware em que está sendo executado, não à 'consciência' da IA, na medida em que possa aceitar novas entradas da substituição de seus arredores as instruções anteriores.

Relacionado: A consciência é necessária para qualquer tarefa de IA?