Aqui estão alguns problemas que minha mente de macaco surgiu.
1.Smart! = Tudo sabendo
A explosão de auto-aperfeiçoamento da IA a torna cada vez mais inteligente. Ser mais inteligente não significa conhecer mais fatos. Suponho que esse seja um argumento bastante exigente, mas acho que vale a pena pensar nisso.
Um médico muito inteligente que não conhece seu histórico ainda pode fazer uma escolha pior do que um menos inteligente com melhores dados.
2. É tudo para humanos? É para todos os seres humanos?
O ASI que atinge um nível mais alto não poderia estar interessado em nosso bem-estar.
Um ASI controlado ainda poderia funcionar para o benefício de poucos, se esses poucos decidirem objetivos errados, poderíamos retroceder.
3 Harsh ASI
Uma mente científica não necessariamente cheia de simpatia ou empatia.
4. Ser inteligente e não ser inteligente
Grandes mentes ainda cometem erros: * ao estabelecer seus objetivos e * na execução do plano para alcançá-lo.
O intelecto inteligente não garante a falta de visão ou a falta de pontos cegos.
5. Limites
Se houver limites de existência (limites do tipo velocidade da luz), a IA também será vinculada por eles. Isso pode significar que existem coisas que nem a ASI conseguirá. Além disso, como nossa mente pode ter limites com base em sua estrutura, a próxima IA também pode ter limites - e mesmo se melhorar a uppn pode atingir limites aos quais não consegue encontrar soluções, porque é "muito estúpido".
6. Nós não vamos entender
A compreensão da ASI de certos aspectos do mundo pode não ser comunicativa para a maioria dos seres humanos. Nós simplesmente não entendemos (mesmo se somos capazes de entender tudo, isso não significa que vamos entender).
7. Como usá-lo?
Podemos nos destruir, e a IA com a tecnologia que ela nos ajuda a construir. Não precisa ser bombas. Pode ser geoengenharia ou drogas maravilhosas.
Isso é especialmente intenso quando o ASI já é poderoso, mas não é forte o suficiente para prever consequências negativas (ou simplesmente a ignoraremos).