As redes neurais usam codificação eficiente?

Minha pergunta diz respeito à relação entre a hipótese de codificação eficiente, descrita na página da Wikipedia sobre algoritmos de codificação eficiente e aprendizado de rede neural.

Qual é a relação entre a hipótese de codificação eficiente e as redes neurais?

Existem modelos de redes neurais inspirados explicitamente pela hipótese de codificação eficiente?

Ou seria mais justo dizer que todos os algoritmos de aprendizado de rede neural são pelo menos implicitamente baseados em codificação eficiente?

neural-networks information-theory

— Mike NZ
fonte

Talvez os auto-codificadores esparsos sejam o que você procura ? (Se o seu interesse é menos técnica e mais ampla / filosófica, a sugestão de kenorb usuário pode ser apropriado.)

— GeoMatt22

Pergunta interessante. Meu palpite é que as NNs não estão nem perto do que podemos considerar "eficiente". Eu acho que técnicas comumente usadas, como o Dropout, realmente procurariam diminuir a eficiência da codificação.

— Kbrose

Outra referência: The Lottery Ticket Hipótese, arxiv.org/abs/1803.03635 as negociações de papel sobre encontrar as redes sub trabalhando duro, mas eu acho que pode haver conexões com eficiente codificação

— kbrose

Não sou especialista em teoria da informação, mas não acredito que exista qualquer relação entre codificação eficiente que as NNs fazem, nem tenho conhecimento de quaisquer tentativas históricas ou atuais de incorporar codificação eficiente. No entanto, pode ser verdade que NNs fazer sinais de codificar de forma eficiente: arxiv.org/abs/1503.02406

— shadowtalker

Ainda não tenho o suficiente para fazer disso uma resposta, mas isso me parece relacionado à questão de saber se os NNs estão apenas memorizando, em vez de aprender.

— Bill Clark

Acredito que se possa argumentar que uma conexão foi feita. Pedirei desculpas por não postar minha fonte, pois não consegui encontrá-la, mas isso veio de um slide antigo que Hinton apresentou. Nele, ele alegou que uma das maneiras fundamentais de pensar para quem faz aprendizado de máquina (como a apresentação era anterior ao uso comum da palavra aprendizado profundo) era a existência de uma transformação ótima dos dados, para que os dados pudessem ser facilmente aprendeu. Acredito que, para as redes neurais, a 'transformação ideal' dos dados por trás do suporte, é a hipótese de codificação eficiente em ação. Da mesma maneira que, dado um núcleo adequado, muitos espaços podem ser facilmente classificados com modelos lineares, aprendendo a maneira correta de transformar e armazenar os dados. É análogo ao qual e como os neurônios devem ser organizados para representar os dados.

— Emu anônimo
fonte