Recentemente, tenho estudado auto-codificadores. Se bem entendi, um autoencoder é uma rede neural em que a camada de entrada é idêntica à camada de saída. Portanto, a rede neural tenta prever a saída usando a entrada como padrão-ouro.
Qual é a utilidade desse modelo? Quais são os benefícios de tentar reconstruir alguns elementos de saída, tornando-os o mais iguais possível aos elementos de entrada? Por que alguém deveria usar todo esse maquinário para chegar ao mesmo ponto de partida?
Respostas:
Os codificadores automáticos possuem uma camada de entrada, camada oculta e uma camada de saída. A entrada é forçada a ser tão idêntica à saída, por isso é a camada oculta na qual estamos interessados.
A camada oculta forma um tipo de codificação da entrada. "O objetivo de um codificador automático é aprender uma representação compactada e distribuída (codificação) para um conjunto de dados". Se a entrada for um vetor de 100 dimensões e você tiver 60 neurônios na camada oculta, o algoritmo do codificador automático replicará a entrada como um vetor de 100 dimensões na camada de saída, no processo, fornecendo um vetor de 60 dimensões que codifica sua entrada .
Portanto, o objetivo dos codificadores automáticos é a redução da dimensionalidade , entre muitos outros.
Ele também pode modelar sua população para que, ao inserir um novo vetor, você possa verificar a diferença entre a saída e a entrada. Se eles são "praticamente" iguais, você pode assumir que a entrada corresponde à população. Se eles são "bastante" diferentes, provavelmente a entrada não pertence à população que você modelou.
Eu vejo isso como uma espécie de "regressão por redes neurais", na qual você tenta ter uma função que descreve seus dados: sua saída é igual à entrada.
Talvez essas fotos tenham alguma intuição. Como comentador acima, os codificadores automáticos tentam extrair alguns recursos de alto nível dos exemplos de treinamento. Você pode ver como o algoritmo de prognóstico é usado para treinar cada nível oculto separadamente para o NN profundo na segunda foto.
As fotos são tiradas da Wikipedia russa.