Por que as redes neurais profundas e o aprendizado profundo são insuficientes para alcançar a inteligência geral?

Tudo relacionado às redes Deep Learning (DL) e deep (er) parece "bem-sucedido", pelo menos progredindo muito rápido e cultivando a crença de que a AGI está ao alcance. Isso é imaginação popular. O DL é uma ferramenta tremenda para enfrentar tantos problemas, incluindo a criação de AGIs. Não é suficiente, no entanto. Uma ferramenta é um ingrediente necessário, mas muitas vezes insuficiente.

As principais figuras do domínio estão procurando outro lugar para fazer progressos. Este relatório / reivindicação reúne links para declarações de Yoshua Bengio , Yann LeCun e Geoff Hinton . O relatório também explica:

As principais fraquezas da DL (como eu as vejo) são: dependência dos neurônios modelo mais simples possíveis ("caricaturais" como LeCun os chama); uso de idéias da Mecânica Estatística e Estatística do século XIX, que são a base das funções energéticas e dos métodos de probabilidade de log; e a combinação delas em técnicas como descida do gradiente backprop e estocástico, levando a um regime de aplicação muito limitado (aprendizado offline, principalmente em lotes, supervisionado), exigindo que profissionais altamente talentosos (também conhecidos como "descendentes estocásticos de pós-graduação"), grandes quantias caras dados de treinamento rotulados e poder computacional. Embora seja excelente para grandes empresas que podem atrair ou comprar talentos e implantar recursos ilimitados para coletar e processar dados, o DL simplesmente não é acessível nem útil para a maioria de nós.

Embora interessante e relevante, esse tipo de explicação não aborda realmente a essência do problema: o que está faltando?

A pergunta parece ampla, mas pode ser por falta de uma resposta simples. Existe uma maneira de identificar o que falta ao DL para um AGI?

Todo mundo que lida com redes neurais perde um ponto importante ao comparar sistemas com inteligência humana. Um humano leva muitos meses para fazer qualquer coisa inteligível, e muito menos ser capaz de resolver problemas onde humanos adultos mal conseguem gerenciar. Isso e o tamanho do cérebro humano são enormes se comparados às nossas redes neurais. A direção pode estar certa, mas a escala está muito errada. O número de neurônios no cérebro humano pode ser correspondido em termos de memória, mas a quantidade de paralelismo para simulá-lo em tempo real ainda não pode ser alcançada (pelo menos para um pesquisador aleatório). Embora um pouco antigo, isso pode lhe dar uma idéia do quanto não temos o poder de processamento.

O aprendizado profundo é mais bem-sucedido no aprendizado supervisionado, enquanto o cérebro constrói categorias principalmente de maneira não supervisionada. Ainda não sabemos como fazer isso. (Dê uma olhada no google brain : 16.000 núcleos e tudo o que isso pode fazer é reconhecer gatos e rostos humanos com uma precisão bastante abismal.)

O Deep Learning usa ativações altamente não estruturadas, ou seja, as representações de alto nível de "cachorro" e "gato" em um classificador de rede neural não precisam ser semelhantes. O cérebro, por outro lado, usa neurônios inibitórios para criar representações distribuídas esparsas que são decompostas em seus aspectos semânticos. Provavelmente isso é importante para abstração e raciocínio por analogia.

O cérebro tem muitas partes diferentes que trabalham juntas. Os pesquisadores do Deep Learning estão apenas começando a integrar mecanismos de memória ou atenção em sua arquitetura.

O cérebro integra informações de muitos sentidos diferentes. A maioria dos aplicativos de Deep Learning usa apenas um tipo de entrada, como texto ou figuras.

O cérebro é capaz de modelar sequências como categorias. (Basicamente, todo verbo nomeia uma categoria seqüencial (isto é, temporal).) Em seguida, pode organizar essas categorias em planos hierárquicos de longo prazo. Até agora, não vi nada nessa direção no Deep Learning.

As redes neurais ainda não podem operar na mesma escala que o cérebro humano. Se você olhar as respostas para essa pergunta , o cérebro humano estará à frente na contagem de neurônios por mais algumas décadas. Uma rede neural pode não precisar do mesmo número de neurônios que o cérebro para atingir um desempenho semelhante (devido à maior precisão), mas agora, por exemplo, o processamento de vídeo ainda é bastante limitado em termos de entrada e rendimento.

IMHO, o primeiro obstáculo é a escala : mesmo o maior DNN do Google não chega nem perto da escala do cérebro, e por um fator de várias ordens de magnitude ...

Acho que ainda faltam os aspectos que compõem o cérebro humano; tendo muitas redes diferentes trabalhando umas com as outras.

Assim como a meditação melhora as habilidades cognitivas, fazendo o cérebro funcionar de maneira mais sinérgica, também podemos aplicar isso às máquinas.

Por exemplo, o google está aprendendo um computador a sonhar, como nós, para reforçar o que já aprendemos. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

E aqui está o pathnet, uma rede de rede neural. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

Criando todas essas mecânicas e juntando-as, com energia suficiente e chegaremos bem perto!

Os proponentes da inteligência artificial hoje estão focados no problema da computabilidade - a capacidade de resolver rapidamente problemas complexos. É minha convicção que qualquer quantidade de sucesso nessa direção não levará à inteligência humana (geral), embora certamente supere os humanos em certos domínios. Em vez disso, os esforços devem ser direcionados ao estudo de quais eventos neurológicos causam sensação (a experiência dos qualia). Obviamente, esse é o difícil problema da filosofia, mas acredito que é a chave exclusiva da inteligência geral e de suas capacidades. A engenharia reversa e também as teorias testáveis ​​devem ser avançadas nesse sentido.