Vou responder a essa pergunta em várias partes:
Por que os sistemas AGI precisam ter bom senso?
Os seres humanos na razão selvagem e se comunicam usando o senso comum mais do que com a lógica estrita, você pode ver isso observando que é mais fácil apelar para a emoção de alguém do que a lógica. Portanto, qualquer sistema que procure replicar a cognição humana (como na AGI) também deve replicar essa tendência a usar o bom senso.
Em termos mais simples, gostaríamos que nosso sistema AGI pudesse falar conosco na linguagem do senso comum, simplesmente porque é isso que entendemos melhor (caso contrário, não entenderíamos nosso AGI amigável, entenderíamos?). A teoria obtusa e a lógica estrita podem tecnicamente estar corretas, mas não apelam ao nosso entendimento.
O objetivo da AGI não é criar o sistema mais cognitivamente avançado? Por que o sistema AGI "mais perfeito" precisa lidar com essas imperfeições e imprecisões presentes no senso comum?
Primeiro, pode parecer que a lógica do senso comum é "irracional". Talvez exista uma maneira matemática consistente de modelar o senso comum, de modo que todas as sutilezas do senso comum sejam representadas de maneira rigorosa.
Segundo, o estudo inicial da Inteligência Artificial começou no estudo da ciência cognitiva, onde os pesquisadores tentaram replicar "algoritmos da mente", ou mais precisamente: procedimentos decidíveis que replicavam o pensamento humano. Nesse sentido, o estudo da IA não é criar o "agente cognitivo mais supremo", mas apenas replicar o pensamento / comportamento humano. Uma vez que podemos replicar o comportamento humano, talvez possamos tentar criar algo super-humano, dando-lhe mais poder computacional, mas isso não é garantido.
Ainda não vejo por que o senso comum é necessário nos sistemas AGI. A AGI não é ser o sistema computacional mais inteligente e poderoso? Por que deveria se importar ou se adaptar aos limites da compreensão humana, que requer bom senso?
Talvez você tenha um pouco de entendimento desalinhado do que a AGI implica. AGI não significa poder computacional ilimitado (fisicamente impossível devido a restrições físicas na computação, como o limite de Bremermann ) ou inteligência ilimitada (talvez fisicamente impossível devido à restrição anterior). Geralmente significa apenas "inteligência geral" artificial, significado geral amplo e comum.
Considerações sobre agentes ilimitados são estudadas com mais detalhes em campos como ciência da computação teórica (teoria dos tipos, acredito), teoria da decisão e talvez até teoria dos conjuntos, onde somos capazes de colocar questões sobre agentes com poder computacional ilimitado. Poderíamos dizer que existem perguntas que mesmo um sistema AGI com poder ilimitado não pode responder devido ao Problema de Parada , mas apenas se as suposições nesses campos mapearem a estrutura do AGI fornecido, o que pode não ser verdade.
Para uma melhor compreensão do que a AGI pode acarretar e de seus objetivos, recomendo dois livros: Inteligência Artificial: A Muito Idéia de John Haugeland para uma abordagem mais pragmática (por mais pragmática que a filosofia da IA possa ser) e On the Origin of Objects by Brian Cantwell Smith por uma abordagem mais filosoficamente inclinada.
Como uma parte divertida à parte, a coleção de Zen koan's: The Gateless Gate, inclui a seguinte passagem: (citada e editada na wikipedia )
Um monge perguntou a Zhaozhou, um mestre zen chinês: "Um cachorro tem natureza de Buda ou não?" Zhaozhou respondeu: "Wú"
Wú (無) é traduzido como "none", "nonesuch" ou "nothing", que pode ser interpretado para evitar responder sim ou não. Esse indivíduo esclarecido não procura responder estritamente a todas as perguntas, mas apenas responder de uma maneira que faça sentido. Realmente não importa se o cão tem ou não a natureza búdica (o que quer que a natureza búdica signifique), então o mestre decide absolver a questão em vez de resolvê-la.