Como o "direito à explicação" é razoável?

Houve recente aumento no interesse em e X plainable A rtificial I ntelligence (XAI). Aqui está a missão da XAI, conforme declarado em sua página da DARPA :

O programa AI explicável (XAI) visa criar um conjunto de técnicas de aprendizado de máquina que:

• Produza modelos mais explicáveis, mantendo um alto nível de desempenho de aprendizado (precisão de previsão); e
• Permita que usuários humanos entendam, confiem adequadamente e gerenciem efetivamente a geração emergente de parceiros artificialmente inteligentes.

Artigo do New York Times A IA pode ser ensinada a se explicar? faz um bom trabalho ao explicar a necessidade de XAI do ponto de vista do interesse humano, além de fornecer uma visão geral das técnicas que estão sendo desenvolvidas para o mesmo. A força por trás do movimento XAI parece centrar-se no conceito de direito à explicação , ou seja, o requisito de que os aplicativos de IA que impactam significativamente as vidas humanas por meio de suas decisões possam explicar às partes interessadas os fatores / razões que levaram à à referida decisão.

Como o direito à explicação é razoável, dados os padrões atuais pelos quais nos responsabilizamos?

Como o direito à explicação é razoável, dados os padrões atuais pelos quais nos responsabilizamos?

Em suma, é bastante razoável.

Mais especificamente, tornar a IA responsável e responsável pela explicação da decisão parece razoável porque

• Humanos (neste caso, a DARPA) escolheu criar, aumentar e evoluir a IA com o dinheiro dos contribuintes. Também em nossa sociedade, sempre que os humanos se reúnem para algum propósito (algum arranjo formal como o governo ou outro), a prestação de contas e a responsabilidade são assumidas e atribuídas. Portanto, esperar que a IA (que tomará decisões em nosso nome) explique suas decisões parece apenas uma extensão natural de como os humanos operam atualmente .

• Os seres humanos ( pelo menos geralmente ) não têm super poder ou recursos para controlar e manipular o resto da população. Mas quando o fazem (como nossos líderes políticos ), queremos que eles sejam responsáveis.

• Em casos raros, humanos poderosos se tornam poderosos devido a coisas acessíveis a todos , enquanto o super poder da IA ​​não será. Portanto, nossa civilização se sentiria mais segura e menos insegura com uma IA que não fecha a porta quando perguntas são feitas.

Outros benefícios da IA ​​que oferecem uma explicação sobre como uma decisão é tomada

• Muito mais fácil para depurar e melhorar em seu estágio inicial.

• Pode ser personalizado ainda mais (e ao longo do caminho) para amplificar certos aspectos, como bem-estar social, mais lucratividade, etc.

No artigo Slave to the Algorithm? Por que um "direito a uma explicação" provavelmente não é o remédio que você está procurando , os autores afirmam que é improvável que o "direito à explicação" forneça um remédio completo para danos algorítmicos por pelo menos duas razões.

1. Não está claro quando qualquer direito relacionado à explicação pode ser acionado

2. As explicações exigidas pela lei, "informações significativas sobre a lógica do processamento", podem não ser fornecidas pelos métodos atuais (explicáveis) de IA

Os autores concluem que o "direito à explicação" é perturbador , mas que outras leis do Regulamento Geral de Proteção de Dados da União Europeia, como

1. direito de ser esquecido
2. direito à portabilidade de dados
3. privacidade por design

pode compensar os defeitos do "direito à explicação".

Para concluir, o "direito à explicação" é uma tentativa de proteger os cidadãos contra as possíveis conseqüências indesejáveis ​​do uso dos métodos de IA. No entanto, isso não é perfeito e talvez seja necessário promulgar direitos mais claros.