Perguntas com a marcação «rnn»

RNNs são notavelmente bons para capturar a dependência de tempo de dados seqüenciais. No entanto, o que acontece quando os elementos da sequência não são igualmente espaçados no tempo? Por exemplo, a primeira entrada na célula LSTM acontece na segunda-feira, depois não há dados de terça a quinta-feira e, finalmente, …

13 machine-learning  neural-networks  lstm  rnn  unevenly-spaced-time-series 

A ideia por trás da Rede Neural Recorrente (RNN) é clara para mim. Entendo da seguinte maneira: Temos uma sequência de observações ( ) (ou, em outras palavras, séries temporais multivariadas). Cada observação única é um vetor numérico dimensional. No modelo RNN, assumimos que a próxima observação é uma função …

11 time-series  neural-networks  predictive-models  intuition  rnn 

Eu uso a rede LSTM em Keras. Durante o treinamento, a perda varia muito, e eu não entendo por que isso aconteceria. Aqui está o NN que eu estava usando inicialmente: E aqui estão a perda e a precisão durante o treinamento: (Observe que a precisão chega a 100% eventualmente, …

11 lstm  rnn  keras 

Estou trabalhando no artigo de Cho 2014 , que introduziu a arquitetura codificador-decodificador para modelagem seq2seq. No artigo, eles parecem usar a probabilidade da saída fornecida (ou é uma probabilidade negativa de log) como a função de perda para uma entrada de comprimento e saída de comprimento :xxxMMMyyyNNN P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y1,…,yN|x1,…,xM)=P(y1|x1,…,xm)P(y2|y1,x1,…,xm)…P(yN|y1,…,yN−1,x1,…,xm)P(y_1, …, …

10 deep-learning  loss-functions  rnn 

Uso RNN bidirecional para detectar um evento de ocorrência desequilibrada. A classe positiva é 100 vezes menos que a classe negativa. Embora nenhum uso de regularização eu possa obter 100% de precisão no conjunto de trens e 30% no conjunto de validação. Ativei a regularização de l2 e o resultado …

10 neural-networks  deep-learning  regularization  rnn 

Quero fazer um RNST LSTM para previsão de séries temporais, mas alguns dos meus preditores são mensais e outros são diários. Algum conselho / exemplos sobre como configurar esta rede? A frequência das previsões é mensal. Obrigado.

10 time-series  lstm  rnn 

Como muitos outros, eu achei os recursos aqui e aqui imensamente úteis para entender as células LSTM. Estou confiante de que entendo como os valores fluem e são atualizados, e estou confiante o suficiente para adicionar as mencionadas "conexões do olho mágico", etc. também. No meu exemplo, tenho em cada …

9 machine-learning  neural-networks  lstm  rnn 

O título já diz tudo - quantos parâmetros treináveis ​​existem em uma camada GRU? Esse tipo de pergunta surge muito ao tentar comparar modelos de diferentes tipos de camadas RNN, como unidades de memória de longo prazo (LSTM) versus GRU, em termos de desempenho por parâmetro. Como um número maior …

9 neural-networks  rnn  gru 

Estou tentando usar um LSTM para previsão de séries temporais. Os dados são transmitidos uma vez por minuto, mas eu gostaria de prever uma hora à frente. Existem duas maneiras de pensar sobre isso: Agrupe os dados em dados horários, considerando a média a cada período de 60 minutos como …

9 time-series  lstm  rnn 

Não sei ao certo o que entendi da documentação oficial, que diz: Retorna: um par (saídas, estado) em que: outputs: O tensor de saída RNN. Se time_major == False(default), este será um Tensor em forma: [batch_size, max_time, cell.output_size]. Se time_major == True, este será um Tensor em forma: [max_time, batch_size, …

8 deep-learning  lstm  tensorflow  rnn  gru 

É bastante intuitivo que a maioria das arquiteturas / topologias de redes neurais não seja identificável. Mas quais são alguns resultados bem conhecidos no campo? Existem condições simples que permitem / impedem a identificação? Por exemplo, todas as redes com funções de ativação não lineares e mais de uma camada …

8 neural-networks  conv-neural-network  rnn  identifiability 

Como um aquecimento com redes neurais recorrentes, estou tentando prever uma onda senoidal de outra onda senoidal de outra frequência. Meu modelo é um RNN simples, seu passe para frente pode ser expresso da seguinte forma: rtzt=σ(Win⋅xt+Wrec⋅rt−1))=Wout⋅rtrt=σ(Win⋅xt+Wrec⋅rt−1))zt=Wout⋅rt \begin{aligned} r_t &= \sigma(W_{in} \cdot x_t + W_{rec} \cdot r_{t-1}))\\ z_t &= W_{out} …

8 regression  time-series  neural-networks  deep-learning  rnn 

Suponha que eu esteja alimentando uma matriz 2D de forma (99,13) como entrada para uma camada LSTM. Estou tendo um número n de arquivos, onde cada um contém (99,13) vetores de tamanho. Decidi considerar 13 como o número de recursos e 99 como o timesteps. (Ao implementar com o Keras, …

8 machine-learning  lstm  rnn 

Gostaria de entender melhor por que o LSTM pode se lembrar de informações por um período mais longo do que a rede neural recorrente simples (baunilha / simples), refazendo um experimento do artigo Aprender Dependências de Longo Prazo com Descida Gradiente é Difícil por Bengio et al. 1994 . Veja …

8 neural-networks  lstm  tensorflow  rnn  keras 

Suponha que eu tenha um texto como o abaixo, que geralmente tem 2/3 frases e 100-200 caracteres. Johny comprou leite de 50 dólares do walmart. Agora ele deixou apenas 20 dólares. Eu quero extrair Nome da pessoa: Johny Gasto: 50 dólares Dinheiro restante: 20 dólares. Passado para onde: Walmart. Passei …

7 machine-learning  deep-learning  data-mining  text-mining  rnn