Por que os RNNs com unidades LSTM também sofrem com "gradientes explosivos"?

Eu tenho um conhecimento básico de como as RNNs (e, em particular, com as unidades LSTMs) funcionam. Tenho uma idéia pictórica da arquitetura de uma unidade LSTM, que é uma célula e alguns portões, que regulam o fluxo de valores.

No entanto, aparentemente, eu não entendi completamente como o LSTM resolve o problema dos "gradientes que desaparecem e explodem", que ocorre durante o treinamento, usando a retropropagação ao longo do tempo, uma RNN convencional. Não tive a oportunidade de ler os jornais para entender completamente a matemática.

Esta resposta fornece uma breve explicação de como os RNNs com unidades LSTM resolvem o problema dos "gradientes de fuga". Matematicamente, a razão parece ser a inexistência de um derivado que não desaparece, ou seja, não tende a zero. Consequentemente, o autor afirma: "existe pelo menos um caminho em que o gradiente não desaparece". IMHO, essa explicação é um pouco vaga.

Enquanto isso, eu estava lendo o artigo Sequence to Sequence Learning with Neural Networks (de Ilya Sutskever, Oriol Vinyals, Quoc V. Le) e, nesse artigo, a seção "3.4 Detalhes do treinamento", afirma-se

Embora os LSTMs tendam a não sofrer com o problema do gradiente de fuga, eles podem ter gradientes explosivos.

Eu sempre pensei que RNNs com unidades LSTM resolvem os problemas de "desaparecimento" e "gradientes explosivos", mas, aparentemente, RNNs com unidades LSTM também sofrem com "gradientes explosivos".

Intuitivamente, por que isso? Matematicamente, quais são as razões?

Uma resposta muito curta:

O LSTM desacopla o estado da célula (normalmente indicado por c) e a camada / saída oculta (normalmente indicado por h), e apenas crealiza atualizações aditivas , o que torna as memórias cmais estáveis. Assim, o gradiente flui através cé mantido e difícil de desaparecer (portanto, o gradiente geral é difícil de desaparecer). No entanto, outros caminhos podem causar explosão de gradiente.

Uma resposta mais detalhada com explicação matemática:

Vamos revisar o mecanismo CEC (Constant Error Carousel) primeiro. O CEC diz que, do tempo taté o momento t+1, se o portão de esquecer for 1 (não há portão de esquecer no documento LSTM original, portanto esse é sempre o caso), o gradiente pode fluir sem alterações. Seguindo as fórmulas BPTT no artigo LSTM: A Odyssey no Espaço de Pesquisa Apêndice A.2 ( no artigo está em outra literatura), o fluxo CEC realmente corresponde à equação δ c t = ⋯ + δ c t + 1 ⊙ f t + 1 . Quando $dl/dc^{t}$yh$\delta c^t = \dots + \delta c^{t+1} \odot f^{t+1}$sem perdas. é próximo de 1,δ c t + 1 se acumula paraδ c $f^{t+1}$$\delta c^{t+1}$$\delta c^t$

No entanto, o LSTM é mais do que o CEC. Além do caminho CEC de a c t + 1 , existem outros caminhos entre duas etapas de tempo adjacentes. Por exemplo, y t → o t + 1 → y t + 1 . Percorrendo o processo de propagação traseira em 2 etapas, temos: δ y t ← R T o δ o t + 1 ← δ y t + 1 ← R T o δ o $c^{t}$$c^{t+1}$$y^t \rightarrow o^{t+1} \rightarrow y^{t+1}$ , vemos R t o é multiplicada duas vezes neste caminho apenas como RNNs baunilha, o que pode provocar uma explosão gradiente. Da mesma forma, os caminhos através da entrada e do portão de esquecimento também são capazes de causar explosão de gradiente devido à auto-multiplicação de matrizes R T i , R T f , R T z .$\delta y^t \leftarrow R^T_o \delta o^{t+1} \leftarrow \delta y^{t+1} \leftarrow R^T_o \delta o^{t+2}$$R^T_o$$R^T_i, R^T_f, R^T_z$

Referência:

K. Greff, RK Srivastava, J. Koutnik, BR Steunebrink e J. Schmidhuber. LSTM: Uma odisséia no espaço de pesquisa. CRR, abs / 1503.04069, 2015.

No entanto, ainda existem alguns caminhos pelos quais o gradiente pode se tornar instável, e quanto maior a rede, maior a probabilidade de você encontrar esse problema.