Perguntas com a marcação «lstm»

Eu tenho um conhecimento básico de como as RNNs (e, em particular, com as unidades LSTMs) funcionam. Tenho uma idéia pictórica da arquitetura de uma unidade LSTM, que é uma célula e alguns portões, que regulam o fluxo de valores. No entanto, aparentemente, eu não entendi completamente como o LSTM …

13 neural-networks  lstm  rnn  backpropagation 

RNNs são notavelmente bons para capturar a dependência de tempo de dados seqüenciais. No entanto, o que acontece quando os elementos da sequência não são igualmente espaçados no tempo? Por exemplo, a primeira entrada na célula LSTM acontece na segunda-feira, depois não há dados de terça a quinta-feira e, finalmente, …

13 machine-learning  neural-networks  lstm  rnn  unevenly-spaced-time-series 

Como treinar o modelo LSTM em vários dados de séries temporais? Caso de uso: tenho vendas semanais de 20.000 agentes nos últimos 5 anos. Precisa prever as próximas vendas semanais para cada agente. Preciso seguir uma técnica de processamento em lote - pegue um agente de cada vez, treine o …

13 machine-learning  time-series  statistical-significance  lstm  artificial-intelligence 

O LSTM no seguinte código Keras input_t = Input((4, 1)) output_t = LSTM(1)(input_t) model = Model(inputs=input_t, outputs=output_t) print(model.summary()) pode ser representado como Entendo que quando chamamos model.predict(np.array([[[1],[2],[3],[4]]]))a (apenas) unidade LSTM processa primeiro o vetor [1], depois [2] mais o feedback da entrada anterior e assim por diante até o vetor …

12 machine-learning  neural-networks  lstm  keras 

Para uma tarefa de processamento de linguagem natural (PNL), geralmente se usa vetores word2vec como uma incorporação para as palavras. No entanto, pode haver muitas palavras desconhecidas que não são capturadas pelos vetores word2vec simplesmente porque essas palavras não são vistas com bastante frequência nos dados de treinamento (muitas implementações …

11 natural-language  word2vec  lstm  word-embeddings 

Eu uso a rede LSTM em Keras. Durante o treinamento, a perda varia muito, e eu não entendo por que isso aconteceria. Aqui está o NN que eu estava usando inicialmente: E aqui estão a perda e a precisão durante o treinamento: (Observe que a precisão chega a 100% eventualmente, …

11 lstm  rnn  keras 

Eu queria saber qual é a melhor maneira de inicializar o estado para LSTMs. Atualmente, eu apenas inicializo para todos os zeros. Realmente não consigo encontrar nada online sobre como inicializá-lo. Uma coisa que eu estava pensando em fazer é tornar o estado inicial um parâmetro treinável. Algum conselho?

10 neural-networks  lstm 

Quero fazer um RNST LSTM para previsão de séries temporais, mas alguns dos meus preditores são mensais e outros são diários. Algum conselho / exemplos sobre como configurar esta rede? A frequência das previsões é mensal. Obrigado.

10 time-series  lstm  rnn 

Como muitos outros, eu achei os recursos aqui e aqui imensamente úteis para entender as células LSTM. Estou confiante de que entendo como os valores fluem e são atualizados, e estou confiante o suficiente para adicionar as mencionadas "conexões do olho mágico", etc. também. No meu exemplo, tenho em cada …

9 machine-learning  neural-networks  lstm  rnn 

O problema com o qual estou lidando é prever valores de séries temporais. Estou analisando uma série temporal por vez e, com base em, por exemplo, 15% dos dados de entrada, gostaria de prever seus valores futuros. Até agora me deparei com dois modelos: LSTM (memória de longo prazo; uma …

9 time-series  forecasting  references  arima  lstm 

Assuma a seguinte sequência dimensional 1: A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ... As cartas A, B, C, ..aqui representam eventos "comuns". Os símbolos #, $, %, ...aqui representam eventos 'especiais' O espaçamento temporal entre todos os eventos não é uniforme …

9 time-series  deep-learning  rare-events  lstm  sequential-pattern-mining 

Estou tentando entender a arquitetura das RNNs. Encontrei este tutorial que foi muito útil: http://colah.github.io/posts/2015-08-Understanding-LSTMs/ Especialmente esta imagem: Como isso se encaixa em uma rede de feed-forward? Essa imagem é apenas outro nó em cada camada?

9 neural-networks  lstm 

Estou tentando usar um LSTM para previsão de séries temporais. Os dados são transmitidos uma vez por minuto, mas eu gostaria de prever uma hora à frente. Existem duas maneiras de pensar sobre isso: Agrupe os dados em dados horários, considerando a média a cada período de 60 minutos como …

9 time-series  lstm  rnn 

Não sei ao certo o que entendi da documentação oficial, que diz: Retorna: um par (saídas, estado) em que: outputs: O tensor de saída RNN. Se time_major == False(default), este será um Tensor em forma: [batch_size, max_time, cell.output_size]. Se time_major == True, este será um Tensor em forma: [max_time, batch_size, …

8 deep-learning  lstm  tensorflow  rnn  gru 

Minha rede neural recorrente (LSTM, resp. GRU) se comporta de uma maneira que não consigo explicar. O treinamento começa e treina bem (os resultados parecem muito bons) quando a precisão cai repentinamente (e a perda aumenta rapidamente) - métricas de treinamento e teste. Às vezes, a rede fica louca e …

8 neural-networks  lstm  gru