Existem redes neurais com muito poucos nós que resolvem decentemente problemas não triviais?

Estou interessado em saber se existe alguma rede neural que resolva (com> = 80% de precisão) qualquer problema não trivial, que use muito poucos nós (onde 20 nós não é um limite rígido). Eu quero desenvolver uma intuição sobre tamanhos de redes neurais.

neural-networks

— Guillermo Mosse
fonte

Teorema da aproximação universal: uma rede neural com uma camada oculta pode aproximar qualquer função "razoável", considerando um número suficiente de nós na camada oculta.

— Nbro

Eu acho que não será fácil responder sua pergunta. O que você quer dizer com "problema não trivial"?

— Nbro

Quero alguns nós, mesmo em camadas ocultas.

— Guillermo Mosse

@ nbro meu senso de "não trivial", neste contexto, é intratável ou sem solução.

— DukeZhou

Mesmo que seja impossível responder a essa pergunta adequadamente, como não trivial não está bem definido (talvez o autor edite essas perguntas mais tarde, para especificá-la melhor), aproveito a oportunidade para apontar este artigo que me parece interessante

Menor rede neural para aprender a crítica de Ising

Supondo que você tenha uma idéia geral do modelo de Ising , acho que o problema de identificar a temperatura crítica de uma perspectiva orientada a dados pode ser considerado não trivial e o artigo mostra como os autores melhoraram o desempenho relacionado à resolução dessa tarefa com a passagem de NN de 100 neurônios ocultos, conforme realizado neste documento Fases de aprendizado de máquina da matéria a partir de 2017, para apenas 2 neurônios ocultos

Apenas meus centavos:

reduzir os neurônios, mantendo um bom desempenho, deve ajudar em termos de interpretabilidade do processamento neural que é notoriamente obscuro e sua complexidade cresce (exponencialmente) com o número de neurônios

— Nicola Bernini
fonte

Eu só queria exemplos que a própria comunidade achou interessantes. Eu acho que na verdade não é trivial definir não trivialidade. Direita?

— Guillermo Mosse

@GuillermoMosse Não, é bastante trivial definir não trivial. A definição é mais ou menos arbitrária, dependendo do que melhor se adapta à situação. Eu tenho certeza que um NN muito simples poderia aprender a dizer se um determinado número é ou não uma raiz quadrada não-trivial ... #

— forest