Quais são as falhas na estrutura de IA de Jeff Hawkins?


19

Em 2004, Jeff Hawkins , inventor do palm pilot, publicou um livro muito interessante chamado On Intelligence , no qual ele detalha uma teoria de como o neocórtex humano funciona.

Essa teoria é chamada de estrutura de previsão de memória e possui alguns recursos impressionantes, por exemplo, não apenas de baixo para cima (feedforward), mas também de processamento de informações de cima para baixo e a capacidade de fazer previsões simultâneas, mas discretas, de diferentes cenários futuros (como descrito neste artigo ).

A promessa da estrutura de previsão de memória é a geração não supervisionada de representações estáveis ​​de alto nível de possibilidades futuras. Algo que revolucionaria provavelmente um monte de áreas de pesquisa em IA.

Hawkins fundou uma empresa e começou a implementar suas idéias. Infelizmente, mais de dez anos depois, a promessa de suas idéias ainda não foi cumprida. Até agora, a implementação é usada apenas para detecção de anomalias, o que é exatamente o oposto do que você realmente deseja fazer. Em vez de extrair o entendimento, você extrairá as instâncias que o córtex artificial não entende.

Minha pergunta é como a estrutura de Hawkins fica aquém. Quais são os problemas concretos ou conceituais que até agora impedem sua teoria de funcionar na prática?

Respostas:


11

A resposta curta é que a visão de Hawkins ainda não foi implementada de uma maneira amplamente acessível, particularmente as partes indispensáveis ​​relacionadas à previsão.

A resposta longa é que li o livro de Hawkins há alguns anos e fiquei empolgado com as possibilidades da Memória Temporal Hierárquica (HTM). Ainda estou, apesar de ter algumas reservas sobre algumas de suas reflexões filosóficas sobre os significados da consciência, livre arbítrio e outros tópicos. Não vou detalhar essas suspeitas aqui porque elas não são relevantes para a principal e esmagadora razão pela qual as redes HTM não foram bem-sucedidas até o momento: até onde sei, Numenta implementou apenas uma versão truncada de sua visão. Eles deixaram de fora a maior parte da arquitetura de previsão, que desempenha um papel tão crítico nas teorias de Hawkins. Como Gerod M. Bonhoff colocou em uma excelente tese 1 sobre HTMs,

A decisão de projeto mais importante adotada por Numenta foi eliminar o feedback dentro da hierarquia e optar por simular esse conceito teórico usando apenas algoritmos de pool de dados para ponderação. Essa decisão é suspeita imediatamente e viola os principais conceitos do HTM. O feedback, insiste Hawkins, é vital para a função cortical e central para suas teorias. Ainda assim, Numenta afirma que a maioria dos problemas aplicáveis ​​ao HTM pode ser resolvida usando seus algoritmos de implementação e de pool proprietário ".

Ainda estou aprendendo as cordas nesse campo e não posso dizer se Numenta descartou ou não essa abordagem em favor de uma implementação completa das idéias de Hawkins, especialmente a arquitetura de previsão muito importante. Mesmo que tenham, essa decisão de design provavelmente atrasou a adoção por muitos anos. Isso não é uma crítica em si; talvez os custos computacionais de rastrear valores de predição e atualizá-los em tempo real fossem demais para suportar naquele momento, além dos custos comuns de processamento de redes neurais, deixando-os sem outro caminho, exceto para tentar meias-medidas como seu pool proprietário mecanismos. No entanto, todos os melhores trabalhos de pesquisa que li sobre o assunto desde então optaram por reimplementar os algoritmos, em vez de confiar na plataforma de Numenta, geralmente por causa dos recursos de previsão ausentes.Relatório técnico de Maltoni para o Laboratório de Sistemas Biométricos da Universidade de Bolonha 2 . Em todos esses casos, no entanto, não há software prontamente acessível para colocar seus HTMs variantes em uso imediato (tanto quanto eu sei). A essência de tudo isso é que, como a famosa máxima de GK Chesterton sobre o cristianismo, "os HTMs não foram julgados e considerados carentes; foram considerados difíceis e deixados sem julgamento". Como Numenta deixou de fora as etapas de previsão, presumo que elas seriam os principais obstáculos que aguardam quem quiser codificar a visão completa de Hawkins sobre o que deveria ser um HTM.

1 Bonhoff, Gerod M., 2008, Utilizando Memória Temporal Hierárquica para Detectar Atividade de Rede Anômala. Apresentado em março de 2008 no Instituto de Tecnologia da Força Aérea, Base da Força Aérea Wright-Patterson, Ohio.

2 Maltoni, Davide, 2011, Reconhecimento de padrões pela memória temporal hierárquica. Relatório Técnico do DEIS publicado em 13 de abril de 2011. Laboratório de Sistemas Biométricos da Universidade de Bolonha: Bolonha, Itália.


1
Ótima resposta! Quero acrescentar que, aparentemente, a IBM está dando uma chance agora: technologyreview.com/s/536326/…
BlindKungFuMaster 22/09/16

1

10 anos para a produção pronta?

Vamos colocar isso em perspectiva. O perceptron foi introduzido em 1957. Ele nem sequer começou a florescer como modelo utilizável até o lançamento dos livros do PDP em 1986. Para aqueles que mantêm a pontuação: 29 anos.

Dos livros do PDP, não vimos isso elaborado como redes profundas utilizáveis ​​até a última década. Se você tomar a tarefa de reconhecimento de gato de Andrew Ng e Jeff Dean como um evento profundo de definição de rede em 2012. Provavelmente há mais de 25 anos para a produção estar pronta.

https://en.wikipedia.org/wiki/Timeline_of_machine_learning


Essa não é uma resposta para a pergunta. Além disso, agora já temos computadores suficientemente rápidos para algumas conquistas impressionantes da IA. Mas essas conquistas não acontecem no HTM.
BlindKungFuMaster
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.