Perguntas com a marcação «lstm»

O LSTM foi inventado especificamente para evitar o problema do gradiente de fuga. Supõe-se que isso seja feito com o Constant Error Carousel (CEC), que no diagrama abaixo (de Greff et al. ) Corresponde ao loop em torno da célula . (fonte: deeplearning4j.org ) E eu entendo que essa parte …

35 neural-networks  lstm 

Eu estudo os LSTMs há um tempo. Eu entendo em alto nível como tudo funciona. No entanto, ao implementá-los usando o Tensorflow, notei que o BasicLSTMCell requer um número de unidades (ou seja num_units) parâmetro. A partir desta explicação minuciosa dos LSTMs, concluí que uma única unidade LSTM é uma …

32 neural-networks  terminology  lstm  rnn  tensorflow 

Minha perda de treinamento diminui e depois sobe novamente. Isso é muito estranho. A perda de validação cruzada rastreia a perda de treinamento. O que está acontecendo? Eu tenho dois LSTMS empilhados da seguinte maneira (no Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) …

26 machine-learning  neural-networks  loss-functions  lstm 

Quais são as vantagens, por que alguém usaria vários LSTMs, empilhados lado a lado, em uma rede profunda? Estou usando um LSTM para representar uma sequência de entradas como uma única entrada. Então, uma vez que eu tenho essa única representação - por que eu a repassaria novamente? Estou perguntando …

25 classification  neural-networks  deep-learning  lstm  rnn 

Mecanismos de atenção têm sido utilizados em vários trabalhos de Deep Learning nos últimos anos. Ilya Sutskever, chefe de pesquisa da Open AI, elogiou-os com entusiasmo: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello, da Universidade de Purdue, afirmou que RNNs e LSTMs deveriam ser abandonados em favor de redes neurais puramente baseadas na atenção: …

23 time-series  deep-learning  lstm  rnn  attention 

Estou tentando usar o exemplo descrito na documentação do Keras chamada "LSTM empilhado para classificação de sequência" (consulte o código abaixo) e não consigo descobrir o input_shapeparâmetro no contexto dos meus dados. Eu tenho como entrada uma matriz de sequências de 25 caracteres possíveis codificados em números inteiros para uma …

20 lstm  keras  shape  dimensions 

Estou tentando entender diferentes arquiteturas de redes neurais recorrentes (RNN) a serem aplicadas a dados de séries temporais e estou ficando um pouco confuso com os diferentes nomes que são frequentemente usados ​​ao descrever RNNs. A estrutura da Memória de Longo Prazo (LSTM) e da Unidade Recorrente Fechada (GRU) é …

20 neural-networks  lstm  rnn 

Eu tenho usado o theano para experimentar LSTMs e queria saber quais métodos de otimização (SGD, Adagrad, Adadelta, RMSprop, Adam, etc) funcionam melhor para LSTMs? Existem trabalhos de pesquisa sobre esse assunto? Além disso, a resposta depende do tipo de aplicativo para o qual estou usando o LSTM? Nesse caso, …

20 machine-learning  neural-networks  optimization  lstm 

Recentemente, fiquei interessado em LSTMs e fiquei surpreso ao saber que os pesos são compartilhados ao longo do tempo. Sei que, se você compartilhar os pesos ao longo do tempo, as seqüências de tempo de entrada poderão ter um comprimento variável. Com pesos compartilhados, você tem muito menos parâmetros para …

20 machine-learning  lstm  rnn 

Eu tenho um problema muito simples, mas não consigo encontrar a ferramenta certa para resolvê-lo. Eu tenho uma sequência de vetores do mesmo comprimento. Agora eu gostaria de treinar o LSTM RNN na amostra de trem dessas seqüências e, em seguida, prever a nova sequência de vetores de comprimento nnn …

19 neural-networks  python  lstm 

Estou passando pelo seguinte blog na rede neural LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ O autor reformula o vetor de entrada X como [amostras, etapas de tempo, recursos] para diferentes configurações de LSTMs. O autor escreve De fato, as seqüências de letras são etapas temporais de um recurso, em vez de um passo temporal …

17 neural-networks  lstm  rnn  tensorflow  tensor 

Estou pensando em usar uma versão LSTM ( memória de curto prazo ) de uma rede neural recorrente (RNN) para modelar dados de séries temporais. À medida que o comprimento da sequência dos dados aumenta, a complexidade da rede aumenta. Estou, portanto, curioso que comprimento de sequências seria possível modelar …

15 neural-networks  deep-learning  lstm 

Estou tentando entender a aplicação de alto nível das RNNs para rotular sequências via (entre outros) o artigo de Graves, de 2005, sobre classificação de fonemas. Para resumir o problema: Temos um grande conjunto de treinamento que consiste em arquivos de áudio (de entrada) de frases únicas e horários de …

15 lstm  rnn 

Estou modelando 15000 tweets para previsão de sentimentos usando uma única camada LSTM com 128 unidades ocultas usando uma representação do tipo word2vec com 80 dimensões. Recebo uma precisão de descida (38% com aleatório = 20%) após 1 época. Mais treinamento faz com que a precisão da validação comece a …

13 deep-learning  regularization  overfitting  lstm 

Estou usando uma rede lstm e feed-forward para classificar o texto. Converto o texto em vetores muito quentes e alimento cada um no lstm para que eu possa resumir como uma única representação. Então eu o alimento para a outra rede. Mas como eu treino o lstm? Eu só quero …

13 classification  neural-networks  deep-learning  lstm