Número de parâmetros em um modelo LSTM

43

Quantos parâmetros possui um único LSTM empilhado? O número de parâmetros impõe um limite inferior ao número de exemplos de treinamento necessários e também influencia o tempo de treinamento. Portanto, conhecer o número de parâmetros é útil para treinar modelos usando LSTMs.

deep-learning rnn

— wabbit
fonte

29

O LSTM possui um conjunto de 2 matrizes: U e W para cada um dos (3) portões. O (.) No diagrama indica a multiplicação dessas matrizes com a entrada $x$ saída $h$ .

U tem dimensões $n \times m$
W tem dimensões $n \times n$
há um conjunto diferente de matrizes estas para cada um dos três portões (como $U_{forget}$ para o esquecer portão, etc.)
existe outro conjunto dessas matrizes para atualizar o estado da célula S
além das matrizes mencionadas, é necessário contar os vieses (não na figura)

$4(nm+n^{2} + n)$

— wabbit
fonte

2

Eu mesmo enfrentei essa questão ao tomar decisões práticas sobre a estimativa de requisitos de hardware e o planejamento de um projeto de aprendizado profundo. PS: Eu não respondi minha própria pergunta apenas para ganhar pontos de reputação. Quero saber se minha resposta está correta da comunidade.

— Wabbit

11

Você ignorou as unidades de polarização. Veja a resposta de Adam Oudad abaixo.

— arun

11

Viéses não estão lá. Eu editei a resposta.

— Escachator

21

$m$ $n$

4 (n m + n^{2})

$4(nm+n^2)$

No entanto, caso o seu LSTM inclua vetores de polarização ( este é o padrão no keras, por exemplo ), o número se torna:

4 (n m + n^{2} + n)

$4(nm+n^2 + n)$

— Adam Oudad
fonte

2

Esta é a única resposta completa. Todas as outras respostas parecem satisfeitas em ignorar o caso dos neurônios de viés.

— Restabeleça Monica

11

Para dar um exemplo concreto, se sua entrada possui m = 25 dimensões e você usa uma camada LSTM com n = 100 unidades, número de parâmetros = 4 * (100 * 25 + 100 ** 2 + 100) = 50400.

— arun

11

Suponha que eu esteja usando dados de timestep, meu entendimento abaixo está correto? n = 100: significa que terei 100 timestep em cada amostra (exemplo), portanto, preciso de 100 unidades. m = 25 média em cada timestep, tenho 25 características como [peso, altura, idade ...].

— jason zhang 10/03

2

@jasonzhang O número de timesteps não é relevante, porque a mesma célula LSTM será aplicada recursivamente aos seus vetores de entrada (um vetor para cada timestep). o que geralmente chamamos de "unidades" também é o tamanho de cada vetor de saída, não o número de timesteps.

— Adam Oudad 11/03

12

De acordo com isso :

Estrutura celular LSTM

Equações LSTM

Ingoring não linearidades

Se a entrada x_t for do tamanho n × 1 e houver d células de memória, o tamanho de cada um de W ∗ e U ∗ será d × n , e d × d resp. O tamanho de W será então 4d × (n + d) . Observe que cada uma das células de memória dd possui seus próprios pesos W ∗ e U ∗ e que os únicos valores de células de memória compartilhados com outras unidades LSTM são durante o produto com U ∗ .

Agradecemos a Arun Mallya pela ótima apresentação.

— ichernob
fonte