Modelos icônicos (de brinquedo) de redes neurais

Meus professores de física na pós-graduação, assim como o Nobel Feynman, sempre apresentavam o que chamavam de modelos de brinquedos para ilustrar conceitos e métodos básicos em física, como o oscilador harmônico, o pêndulo, o pião e a caixa preta.

Quais modelos de brinquedos são usados ​​para ilustrar os conceitos e métodos básicos subjacentes à aplicação de redes neurais? (Referências, por favor.)

Por modelo de brinquedo, quero dizer uma rede particularmente simples, de tamanho mínimo, aplicada a um problema altamente restrito, através do qual métodos básicos podem ser apresentados e o entendimento de alguém testado e aprimorado através da implementação real, ou seja, construindo o código básico e, de preferência, em um certo grau, fazendo / verificando a matemática básica manualmente ou auxiliado por um aplicativo matemático simbólico.

Um dos mais clássicos é o Perceptron em 2 dimensões, que remonta à década de 1950. Este é um bom exemplo, porque é uma plataforma de lançamento para técnicas mais modernas:

1) Nem tudo é linearmente separável (daí a necessidade de ativações não-lineares ou métodos de kernel, várias camadas, etc.).

2) O Perceptron não convergirá se os dados não forem linearmente separáveis ​​(medidas contínuas de separação, como softmax, decaimento da taxa de aprendizado, etc.).

3) Embora existam infinitas soluções para a divisão de dados, é claro que algumas são mais desejadas que outras (separação máxima de limites, SVMs etc.)

Para redes neurais multicamadas, você pode gostar dos exemplos de classificação de brinquedos que acompanham essa visualização .

Para redes neurais convolucionais, o MNIST é o padrão ouro clássico, com uma visualização atraente aqui e aqui .

Para RNNs, um problema realmente simples que eles podem resolver é a adição binária , que requer a memorização de 4 padrões.

1. O problema do XOR é provavelmente o problema canônico de brinquedos da RNA.

   Richard Bland Junho de 1998 Universidade de Stirling, Departamento de Ciências da Computação e Matemática Relatório Técnico de Ciências da Computação " Aprendendo XOR: explorando o espaço de um problema clássico "

2. O TensorFlow Playground é uma interface interativa para várias redes neurais de brinquedo, incluindo XOR e Jellyroll.

3. Computar o maior valor próprio de uma matriz simétrica de tamanho fixo (2x2 ou 3x3) é o que eu uso nas demos em sala de aula.

   A. Cichocki e R. Unbehauen. " Redes neurais para calcular autovalores e autovetores " Biological Cybernetics December 1992, Volume 68, Edição 2, pp 155-164

Problemas como o MNIST são definitivamente canônicos, mas não são facilmente verificados manualmente - a menos que você tenha um tempo livre enorme. O código também não é especialmente básico.

Quanto às tarefas da PNL, o Penn Tree Bank é um conjunto de dados de referência muito padrão, usado, por exemplo, em Wojciech Zaremba, Ilya Sutskever, Oriol Vinyals " Regularização de Rede Neural Recorrente " e provavelmente centenas de outros artigos.

Não conheço um brinquedo físico, mas o melhor exemplo que conheço é uma IA de várias camadas gerada por meio de um algoritmo genético para jogar Super Mario Brothers. O código fonte está na descrição do vídeo.

MarI / O - Aprendizado de máquina para videogames: https://www.youtube.com/watch?v=qv6UVOQ0F44