Os especialistas são prejudiciais?

Estou lendo "O Papel do Xadrez na Pesquisa em Inteligência Artificial" ( pdf ) e, curiosamente, ele diz:

A experiência sugere [...] que contribuições de especialistas em xadrez, embora geralmente úteis, não podem ser totalmente confiáveis.

Um bom exemplo disso é a função de avaliação do Deep Thought. Várias mudanças feitas por especialistas em xadrez humano não conseguiram melhorar significativamente e, ocasionalmente, até afetavam negativamente o desempenho da máquina.

Aqui, especialistas humanos, juntamente com seus conhecimentos, introduziram seus próprios preconceitos no programa. Uma maneira de resolver esse problema é limitar o tipo e a quantidade de entradas especializadas permitidas no programa; em outro ter uma máquina quase "sem conhecimento".

• Quão verdadeiro é isso na pesquisa e na prática modernas?
• Isso é um grande problema, ou apenas algo específico para o jogo de xadrez?

Eu acho que isso é mais sobre solução de problemas de engenharia. Os projetos de engenharia mais bem-sucedidos não duplicam o raciocínio de especialistas ou a natureza do especialista exatamente. Eles resolveram o problema de uma maneira diferente.

Por exemplo, as máquinas de lavar usam uma técnica diferente da humana, os aviões usam dinâmicas diferentes das aves.

Se você estiver duplicando o raciocínio especializado, a entrada deles é tudo . Mas se você estiver resolvendo o mesmo problema usando técnicas diferentes (pesquisa rápida, memória enorme ...), a entrada deles só será útil .

Tais questões são comuns em várias áreas que requerem julgamento.

O capítulo " Previsão e ajustes de julgamento " em Makridakis, Wheelwright e Hyndman Forecasting: Métodos e aplicações tem histórias semelhantes de julgamento de especialistas com desempenho insuficiente, às vezes até em sistemas muito simples.

Há um artigo (Dawes et al (1989) "Clinical vs Atuarial Judgement" Science , Vol. 243, n. 4899, p1668-74) sobre as falhas do julgamento de especialistas na área médica contra o que chama de métodos "atuariais" - basicamente bastante simples modelos estatísticos.

Por outro lado, há um artigo na literatura atuarial sobre o 'barulho' e a inconsistência do julgamento de especialistas em um problema específico naquela área em que o julgamento de especialistas é frequentemente considerado por seus praticantes como de suma importância.

Makridakis et al discutem falhas de julgamento de especialistas em muitas áreas, relacionadas à previsão, e contêm conselhos valiosos.

E assim por diante. Os vieses cognitivos são abundantes e os especialistas humanos sofrem deles, juntamente com todos os outros.

A questão de saber se os especialistas são ou não prejudiciais certamente não é um problema restrito ao jogo de xadrez.

Uma questão interessante na literatura sobre o design ideal dos comitês de política monetária (MPC) é se os comitês devem ou não incluir especialistas externos que não sejam funcionários em tempo integral do banco central.

Para colocar isso em perspectiva, primeiro considere o MPC do Banco da Inglaterra. É composto por cinco membros executivos internos do banco e quatro especialistas externos. Por outro lado, o Federal Reserve Bank emprega um comitê composto exclusivamente por funcionários do banco.

Membros especialistas externos estão incluídos no MPC do Banco da Inglaterra, pois acredita-se que eles tragam conhecimento e informações extras àquelas obtidas no Banco da Inglaterra.

Então, qual projeto de MPC é melhor? Especialistas ou especialistas?

Bem, essa área de pesquisa ainda está ativa e foi investigada recentemente por Hansen & McMahon (2010) . Sugiro consultar as referências mencionadas neste artigo para uma leitura mais aprofundada sobre esta questão dos "comitês de especialistas".

Esse é um grande problema (importante)? Levando em consideração os efeitos que a decisão de um MPC pode ter para a economia, eu diria que este é um problema muito importante!

Por fim, devo mencionar que as decisões de política monetária podem, em teoria, ser delegadas a um computador. Por exemplo, o computador pode ser programado para implementar, digamos, uma regra simples de política monetária ; por exemplo, um compromisso. Isso removeria informações especializadas depois que a regra de política monetária fosse programada no computador. O uso do computador na política monetária é mencionado em Svensson (1999) .

Referência : Stephen Eliot Hansen e Michael McMahon, 2010. "O que especialistas externos trazem para um comitê? Evidências do Banco da Inglaterra", Documentos de Trabalho sobre Economia 1238, Departamento de Economia e Negócios, Universitat Pompeu Fabra.

Lars EO Svensson, 1999. "Como a política monetária deve ser conduzida em uma era de estabilidade de preços?", Anais do Federal Reserve Bank de Kansas City, páginas 195-259.

Eu acho que a chave é consistência. O especialista não possui apenas um conhecimento particular, mas um sistema no qual esse conhecimento opera. Eles têm uma persona, uma estratégia geral, dentro da qual suas táticas residem e evoluem.

Em certo sentido, um programa de computador jogando xadrez é um monstro de Frankenstein criado a partir de uma mistura de vários corpos (programadores, especialistas, etc.). Portanto, não surpreende que o conselho de um especialista não se encaixe bem com o sistema existente.

Concordo com outros comentários de que os especialistas podem não saber como fazem o que fazem. Nesse caso, sendo humano, sua mente consciente cria uma história plausível sobre o motivo pelo qual eles chegaram a uma decisão específica. Mas ainda acho que a consultoria especializada para a equipe de programação está sempre fora de contexto (ou seja, inconsistente com o contexto do design e histórico do programa).

EDIT: Também pode haver um viés de reforço aqui. Não consigo encontrar bons links para explicar o viés de reforço, mas a maneira como entendo o termo é o efeito que você obtém ao atualizar (reajustar) um modelo supervisionado usando os resultados anteriores do modelo - geralmente indiretamente - como destinos. É semelhante ao viés de confirmação, mas envolve um nível de indireção. Especialistas humanos teriam seus vieses de reforço, o que poderia afetar as coisas.