Em um nível muito alto, em relação à teoria evolutiva dos jogos e aos algoritmos genéticos, é absolutamente possível que a IA possa desenvolver um estado análogo ao sofrimento, embora, como você astutamente assinale, isso envolva condições com as quais um computador se importa. (Por exemplo, ele pode desenvolver um sentimento análogo a "ficar ofendido" por não-otimização no sentido algorítmico, ou "frustração" por equações não se somam ou "insatisfação" por objetivos que não foram alcançados.)
Pode-se dizer que o robô atormentado por crianças pequenas no shopping está "sofrendo", pois as crianças bloqueiam o desempenho da função do robô, mas o robô não está consciente e o sofrimento pode exigir consciência. No entanto, mesmo sem consciência, esse robô muito simples pode aprender novos comportamentos através dos quais mitiga ou evita o "sofrimento" causado por não ser capaz de cumprir sua função.
Você definitivamente quer examinar o conceito de sofrimento em um contexto filosófico e Epicuro seria um lugar muito útil para começar.
Epicuro é diretamente relevante no sentido algorítmico, porque ele usa o termo " ataraxia ", que significa calma, e é derivado do verbo " tarasso ", que significa agitar ou perturbar.
A ataraxia pode ser matematicamente expressa como um equilíbrio. Tarasso pode ser matematicamente expresso como desequilíbrio.
Isso está diretamente relacionado à Teoria dos Jogos, na medida em que o desequilíbrio pode ser considerado o principal requisito dos jogos, e a IA nessa Teoria dos Jogos pode ser considerada a raiz de toda a IA.
A ataraxia também é entendida no sentido de "liberdade do medo", que temporalmente nesse medo é uma função da incerteza, pois se relaciona com o futuro em um sentido preditivo, e envolve a condição atual versus possíveis, condições futuras menos ideais.
Assim, o medo, que é uma forma de sofrimento, está enraizado na intratabilidade computacional, mesmo onde o "computador" é um cérebro humano.
Os primeiros filósofos como Demócrito são especialmente úteis porque estavam explorando conceitos críticos e fundamentais, muitos dos quais agora podem ser expressos com a matemática moderna.
A saber: você não pode chegar ao sofrimento até definir primeiro "o Bom" e "o Mau", que é um relacionamento binário no qual nenhum dos termos pode ter significado sem o contrário. (Matematicamente, pode ser expresso em sua forma mais simples como um gráfico finito e unidimensional.) Esse entendimento é bastante antigo.
Vale a pena notar que o valor contínuo dos primeiros filósofos é em parte um fator de sabedoria que não depende do volume de conhecimento, demonstrado por Sócrates na ideia de que a sabedoria pode ser tão simples quanto saber que você não sabe alguma coisa.
Os sábios antigos não tinham o benefício de poderosas ferramentas de medição, matemática avançada ou método científico, mas eram muito inteligentes e, mais importante, sábios.