Por que uma IA precisaria 'acabar com a raça humana'?

Estou lendo tanta bobagem sobre como uma IA transformaria o mundo em um supercomputador para resolver um problema que achava que precisava resolver. Isso não seria AI. Isso é programação processual presa em algumas bobagens. Uma IA precisaria evoluir e reorganizar seus neurônios. Não ficaria preso ao código rígido se tornar inteligente reescrevendo seu código.

É um possível efeito colateral

Qualquer agente orientado a objetivos pode, simplesmente, fazer coisas que atinjam seus objetivos, desconsiderando os efeitos colaterais que não importam para esses objetivos.

Se meus objetivos incluem um espaço arrumado, posso transformar meu quintal em um belo gramado plano ou calçada, enquanto destruo o complexo ecossistema da vida que existia antes, porque não me importo com isso.

Se os objetivos de uma IA poderosa em particular incluírem fazer algo em larga escala e, de alguma forma, não se importar particularmente com o atual ecossistema complexo, esse ecossistema poderá ser eliminado no processo. Não precisa querer ou acabar com a gente. Se simplesmente não somos relevantes para seus objetivos, somos feitos de materiais e ocupamos o espaço que ele pode querer usar para outra coisa.

Somos uma ameaça para a maioria dos objetivos

Qualquer agente orientado a objetivos pode querer garantir que eles possam cumprir seus objetivos. Qualquer agente inteligente tentará antecipar as ações de outros agentes que possam impedi-los de atingir esses objetivos e tomará medidas para garantir que eles tenham êxito de qualquer maneira. Em muitos casos, é mais simples eliminar esses outros agentes do que garantir que seus esforços falhem.

Por exemplo, meus objetivos podem incluir armazenar um saco de açúcar em uma casa de campo para que eu possa fazer panquecas ao visitar sem trazer todos os ingredientes todas as vezes. No entanto, se eu deixá-lo lá, é provável que seja comido por ratos durante o inverno. Eu posso tomar todos os tipos de precauções para armazená-lo melhor, mas os ratos são espertos e astutos, e há claramente uma chance não trivial de que eles ainda consigam alcançar seu objetivo de qualquer maneira, portanto, uma precaução extra eficaz é matar os ratos antes que eles tenham uma chance tentar.

Se os objetivos de uma IA poderosa em particular são X; pode chegar a um entendimento de que (alguns?) os seres humanos podem realmente não querer X, mas Y. Também é fácil deduzir que alguns desses seres humanos podem fazer coisas ativamente que impedem o X e / ou tentam desativar a IA. Fazer coisas que garantam que o objetivo seja alcançado é praticamente o que um agente de busca de objetivos faz; nesse caso, se a existência de seres humanos não for estritamente necessária para o objetivo X, sua eliminação se tornará uma estratégia sólida de redução de risco. Não é estritamente necessário e pode levar todos os tipos de precauções também, mas, como no meu exemplo de ratos, os seres humanos são espertos e astutos e há claramente uma chance não trivial de que eles ainda consigam alcançar seus objetivos. objetivos (para que o X não aconteça como a IA pretende), para que uma precaução extra eficaz possa matá-los antes que eles possam tentar.

Não é necessariamente um absurdo. Tudo depende dos critérios impostos. Imagine o seguinte. Digamos que um sistema avançado de IA seja projetado para controlar a estabilidade da fauna e flora local (área fechada em algum tipo de cúpula). Ele pode controlar a pressão sob a cúpula, a quantidade de luz que atravessa a cúpula etc. - tudo que garante as condições ideais. Agora, diga que a cúpula é habitada por várias espécies, incluindo seres humanos. Vale a pena notar que implementações simples de tais sistemas já estão sendo usadas hoje em dia.

Dado que os seres humanos tendem a destruir e abusar dos recursos naturais, além de poluir o meio ambiente, o sistema pode decidir que a redução da população de uma determinada espécie (neste caso, os humanos) pode, a longo prazo, beneficiar todo o bioma.

O mesmo princípio pode ser aplicado globalmente. No entanto, isso pressupõe que todas as espécies (incluindo seres humanos) são tratadas igualmente e o objetivo máximo da IA ​​é garantir a estabilidade do bioma "que cuida". Hoje em dia, as pessoas fazem essas coisas - controlamos a população de algumas espécies para manter o equilíbrio - lobos, peixes, para citar apenas algumas.

Sinto que a maioria dos cenários em que a IA está acabando com o mundo se enquadra em uma de duas categorias:

1. IAs antropomorfizadas

ou

2. Computador inteligente, mas mudo, funciona mal

No (1) caso, as pessoas falam sobre a IA se tornar "má" e atribuem a elas outros elementos humanos. Eu vejo isso como sendo principalmente ficção científica e não acho que mereça muita discussão séria. Ou seja, não vejo nenhuma razão específica para supor que uma Inteligência Artificial - independentemente de quão inteligente seja - necessariamente se comportará como um humano.

O caso (2) faz mais sentido para mim. Esta é a ideia de que uma IA é, por exemplo, colocada no controle dos silos de mísseis nucleares e acaba lançando os mísseis porque estava apenas fazendo seu trabalho, mas perdeu algo que um humano teria notado através do que poderíamos chamar de "bom senso" " Daí o apelido "Inteligente, mas burro".

Nenhuma delas me parece terrivelmente alarmante, porque (1) provavelmente é ficção e (2) não envolve nenhuma intenção maliciosa real da IA ​​- o que significa que ela não estará tentando nos enganar ativamente ou contornará qualquer segurança. recortes, etc.

Agora, se alguém constrói uma IA e decide programá-la intencionalmente para que ela desenvolva características humanas, como arrogância, ego, ganância, etc ... bem, todas as apostas estão fora.

A IA já é usada como arma - pense nos drones.

Suspeito que um cenário de "robôs domine o mundo" tem a maior probabilidade, se houver uma etapa intermediária. Este passo intermediário pode ser "os seres humanos dominam o mundo com robôs".

Isso pode ir a algum lugar em uma direção errada.

Eu suspeito, não é certamente tão longe quanto parece. Considere os EUA atualmente com 8000 drones. E se tivesse 8 milhões? Um pequeno grupo capaz de controlá-los poderia dominar o mundo. Ou os pequenos grupos que controlam diferentes partes da frota poderiam lutar um contra o outro. Eles não deveriam estar todos nos EUA - no momento em que os EUA tiverem essa frota, outros países também desenvolverão a deles.

Aliás, uma aquisição mundial me parece irreal - os líderes militares podem talvez mudar os pilotos humanos para drones, não é o trabalho deles. Mas o "controle de alto nível", ou seja, para determinar, o que fazer, quem são os alvos, essas decisões que nunca serão tomadas de suas mãos.

Além disso, os robôs não têm uma meta de longo prazo. Nós, humanos, temos.

Portanto, não considero uma aquisição no estilo skynet muito realista, mas um "erro" no estilo chernobyl de um comando mal interpretado, que resulta na agitação incontrolável da frota, não me parece impossível.