Estou lendo o artigo de base Sequence to Sequence Learning with Neural Networks de Ilya Sutskever e Quoc Le. Na primeira página, menciona brevemente que:
A surprising example of the power of DNNs is their ability to sort
N N-bit numbers using only 2 hidden layers of quadratic size
Alguém pode descrever brevemente como classificar números usando apenas duas camadas ocultas?
Respostas:
Pesquisando, encontrei um artigo que comprova que a classificação pode ser feita com no máximo 3 camadas e que a solução é ótima se você restringir o tamanho da rede a ser polinomial em relação ao número de números de entrada:
Redes neurais eficientes em profundidade para divisão e problemas relacionados , consulte o Teorema 7 na página 955 (página 10 no PDF).
Eu imagino que alguém possa inventar pesos manualmente para fazer o trabalho exatamente, mas talvez o ponto seja ser capaz de treinar um? Alguns exemplos:
Como classificar números usando a Rede Neural Convolucional?