Pelo que entendi, as redes neurais profundas estão realizando o "aprendizado de representação", colocando as camadas em conjunto. Isso permite aprender estruturas dimensionais muito altas nos recursos. Obviamente, é um modelo paramétrico com números fixos de parâmetros, portanto, possui a limitação usual de que a complexidade do modelo pode ser difícil de ajustar.
Existe uma maneira bayesiana (não paramétrica) de aprender essas estruturas no espaço de recursos, permitindo que a complexidade do modelo se adapte aos dados? Os modelos relacionados incluem:
- Dirichlet processa modelos de mistura, que permitem dividir o espaço em clusters ilimitados, permitindo que os dados escolham um número finito
- modelos fatoriais como o Indian Buffet Process (IBP), que encontram um número potencialmente infinito de recursos latentes (também conhecidos como tópicos) que explicam os dados.
No entanto, parece que o IBP não aprende representações profundas. Há também o problema de que esses métodos são projetados para aprendizado não supervisionado e, geralmente, usamos aprendizado profundo para tarefas supervisionadas. Existe uma variante do IBP ou outros métodos que permitem que as representações cresçam conforme os dados exigem?