Eficiência energética dos cérebros humanos vs. redes neurais

Quão grandes redes neurais artificiais podemos rodar agora (com ciclo de treinamento completo ou apenas avaliando as saídas da rede) se nosso orçamento total de energia para computação for equivalente ao orçamento de energia do cérebro humano ( 12,6 watts )?

Vamos assumir um ciclo por segundo, que parece corresponder aproximadamente à taxa de disparo dos neurônios biológicos .

neural-networks human-like

— liori
fonte

Eu ia fazer essa pergunta. Estou alguém feliz a gente já fez :)

— Eka

126 milhões de neurônios artificiais a 12,6 Watts, com o True North da IBM

Em 2014, o chip True North da IBM empurrava 1 milhão de neurônios a menos de 100mW.

São cerca de 126 milhões de neurônios artificiais a 12,6 Watts.

Um mouse possui 70 milhões de neurônios.

A IBM acredita que eles podem construir um mainframe True North em escala de cérebro humano a "meros" 4kW.

Quando os transistores 3D chegarem ao mercado, acho que vamos recuperar rapidamente a eficiência do cérebro animal.

— Doxosophoi
fonte

> Então, são aproximadamente 126 milhões de neurônios artificiais a 12,6 Watts. > Um mouse possui 70 milhões de neurônios. O problema é que não sabemos se um único "neurônio" artificial é realmente um equivalente a um para um neurônio biológico real.

— mindcrime

Além do crime mental, lembre-se de que, durante aproximadamente 60 anos, os neurocientistas / pesquisadores de IA subestimaram consistentemente o poder de processamento do cérebro humano. Vi estimativas precoces de grandes nomes de que nossas mentes podiam armazenar apenas alguns 100 MB! Ainda precisamos considerar fatores como profundidade de bits, arquitetura adequada, possíveis estados quânticos nas células cerebrais etc. A IBM provavelmente construirá uma rede neural de 70 milhões de neurônios com eficiência de energia que nem sequer pode aproximar o comportamento dos parasitas de um rato . Pesquisadores de IA sempre superestimaram historicamente suas próprias capacidades.

— SQLServerSteve

De fato, esqueceu os chips da IBM. Eu nem os levei em consideração ao escrever a pergunta, pois há críticas conhecidas sobre sua eficiência (consulte, por exemplo, facebook.com/yann.lecun/posts/10152184295832143 ). Embora tecnicamente eles ainda implementem redes neurais, +1 de mim.

— liori 02/09

@mindcrime & SQLServerSteve Bem, a pergunta poderia ter sido especificamente sobre ANNs de avanço de baunilha, executadas em hardware padrão. Essa não é a impressão que tive da pergunta.

— Doxosophoi

Nem parecia ser sobre redes neurais artificiais que ainda não foram imaginadas.

— Doxosophoi 03/09/16

Se você se limitasse a 12,6 watts, não faria muito. Basta pesquisar o consumo de energia de uma GPU moderna, observar o tamanho das redes que as pessoas estão treinando e, em seguida, diminuir a escala. Para referência, as GPUs modernas parecem consumir entre 52-309 watts sob uso pesado .

Claramente, a eficiência energética é uma área em que o cérebro humano ainda está longe da cabeça das RNAs.

— mindcrime
fonte