Perguntas com a marcação «rnn»

Qual é a diferença entre uma rede neural de feed-forward e recorrente ? Por que você usaria um sobre o outro? Existem outras topologias de rede?

58 machine-learning  neural-networks  terminology  rnn  topologies 

Eu estudo os LSTMs há um tempo. Eu entendo em alto nível como tudo funciona. No entanto, ao implementá-los usando o Tensorflow, notei que o BasicLSTMCell requer um número de unidades (ou seja num_units) parâmetro. A partir desta explicação minuciosa dos LSTMs, concluí que uma única unidade LSTM é uma …

32 neural-networks  terminology  lstm  rnn  tensorflow 

Recentemente, li que uma rede neural recorrente pode se aproximar de qualquer algoritmo. Então, minha pergunta é: o que isso significa exatamente e você pode me dar uma referência onde isso é provado?

28 references  rnn 

Quais são as vantagens, por que alguém usaria vários LSTMs, empilhados lado a lado, em uma rede profunda? Estou usando um LSTM para representar uma sequência de entradas como uma única entrada. Então, uma vez que eu tenho essa única representação - por que eu a repassaria novamente? Estou perguntando …

25 classification  neural-networks  deep-learning  lstm  rnn 

Mecanismos de atenção têm sido utilizados em vários trabalhos de Deep Learning nos últimos anos. Ilya Sutskever, chefe de pesquisa da Open AI, elogiou-os com entusiasmo: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello, da Universidade de Purdue, afirmou que RNNs e LSTMs deveriam ser abandonados em favor de redes neurais puramente baseadas na atenção: …

23 time-series  deep-learning  lstm  rnn  attention 

Esta pergunta já tem respostas aqui : Como a mudança na função de custo pode ser positiva? (1 resposta) O que devo fazer quando minha rede neural não aprende? (5 respostas) Fechado no mês passado . Estou treinando um modelo (Rede Neural Recorrente) para classificar 4 tipos de sequências. Ao …

21 machine-learning  neural-networks  loss-functions  rnn  training-error 

Estou tentando entender diferentes arquiteturas de redes neurais recorrentes (RNN) a serem aplicadas a dados de séries temporais e estou ficando um pouco confuso com os diferentes nomes que são frequentemente usados ​​ao descrever RNNs. A estrutura da Memória de Longo Prazo (LSTM) e da Unidade Recorrente Fechada (GRU) é …

20 neural-networks  lstm  rnn 

Recentemente, fiquei interessado em LSTMs e fiquei surpreso ao saber que os pesos são compartilhados ao longo do tempo. Sei que, se você compartilhar os pesos ao longo do tempo, as seqüências de tempo de entrada poderão ter um comprimento variável. Com pesos compartilhados, você tem muito menos parâmetros para …

20 machine-learning  lstm  rnn 

O RNN pode ser usado para previsão ou mapeamento de sequência para sequência. Mas como a RNN pode ser usada para classificação? Quero dizer, damos a uma sequência inteira um rótulo.

19 machine-learning  neural-networks  rnn 

Estou passando pelo seguinte blog na rede neural LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ O autor reformula o vetor de entrada X como [amostras, etapas de tempo, recursos] para diferentes configurações de LSTMs. O autor escreve De fato, as seqüências de letras são etapas temporais de um recurso, em vez de um passo temporal …

17 neural-networks  lstm  rnn  tensorflow  tensor 

Estou procurando fazer um projeto de reconhecimento óptico de caracteres (OCR). Depois de fazer algumas pesquisas, encontrei uma arquitetura que parece interessante: CNN + RNN + CTC. Eu estou familiarizado com redes neurais complicadas (CNN) e redes neurais recorrentes (RNN), mas o que é Classificação Temporal Conexionista (CTC)? Eu gostaria …

15 machine-learning  deep-learning  conv-neural-network  rnn 

Estou tentando entender a aplicação de alto nível das RNNs para rotular sequências via (entre outros) o artigo de Graves, de 2005, sobre classificação de fonemas. Para resumir o problema: Temos um grande conjunto de treinamento que consiste em arquivos de áudio (de entrada) de frases únicas e horários de …

15 lstm  rnn 

Em uma rede neural recorrente, você costuma encaminhar a propagação por várias etapas de tempo, "desenrolar" a rede e depois propagá-la pela sequência de entradas. Por que você não atualiza apenas os pesos após cada etapa individual da sequência? (o equivalente a usar um comprimento de truncamento de 1, para …

14 time-series  neural-networks  backpropagation  rnn 

Eu tenho um conhecimento básico de como as RNNs (e, em particular, com as unidades LSTMs) funcionam. Tenho uma idéia pictórica da arquitetura de uma unidade LSTM, que é uma célula e alguns portões, que regulam o fluxo de valores. No entanto, aparentemente, eu não entendi completamente como o LSTM …

13 neural-networks  lstm  rnn  backpropagation 

Quais problemas de entrada seqüencial são mais adequados para cada um? A dimensionalidade da entrada determina qual é a melhor correspondência? Os problemas que requerem "memória mais longa" são mais adequados para uma RNN LSTM, enquanto os problemas com padrões de entrada cíclicos (mercado de ações, clima) são mais facilmente …

13 time-series  neural-networks  hidden-markov-model  rnn