Os codificadores automáticos podem ser usados ​​para aprendizado supervisionado?

Os codificadores automáticos podem ser usados ​​para aprendizado supervisionado sem adicionar uma camada de saída ? Podemos simplesmente alimentá-lo com um vetor de entrada / saída concatenado para treinamento e reconstruir a parte de saída da parte de entrada ao fazer inferência? A parte de saída seria tratada como valores ausentes durante a inferência e alguma imputação seria aplicada.

Um desses documentos que conheço e que implementei é o Aprendizado Semi-Supervisionado usando Redes Ladder . Cito aqui a descrição do modelo:

Nossa abordagem segue Valpola (2015), que propôs uma rede Ladder na qual a tarefa auxiliar é denoise de representações em todos os níveis do modelo. A estrutura do modelo é um auto-codificador com conexões de salto do codificador para o decodificador e a tarefa de aprendizado é semelhante à dos auto-codificadores de denoising, mas aplicada a todas as camadas, não apenas às entradas. As conexões de salto aliviam a pressão para representar detalhes nas camadas mais altas do modelo porque, através das conexões de salto, o decodificador pode recuperar qualquer detalhe descartado pelo codificador.

Para mais explicações sobre a arquitetura, consulte Desconstruindo a arquitetura de rede da escada por Yoshua Bengio.

Lembro-me de ler artigos sobre esses sistemas, se o entendi corretamente, mas não consigo lembrar os títulos no momento.

A idéia era usar RNNs generativos baseados em caracteres, treiná-los em seqüências codificadas como "datadatadatadata | answer" e, em seguida, ao alimentar "otherdatadata |" então continuaria gerando algum tipo de resposta esperada.

Mas, tanto quanto me lembro, essa foi apenas uma ilustração interessante, pois se você tiver os dados para fazer algo supervisionado, obterá melhores resultados pelos métodos convencionais.