Diferença entre redes neurais atrasadas e redes neurais recorrentes

Eu gostaria de usar uma Rede Neural para prever séries temporais financeiras. Sou formado em TI e tenho algum conhecimento de redes neurais e tenho lido sobre isso:

• TDNN
• RNN

Eu tenho procurado por pacotes R para eles e só encontrei um para RNN, o pacote RSNNS que tem implementações elman e jordan que são RNN.

Então, as Redes Neurais Recorrentes são úteis para usar com séries temporais (financeiras)? Desde que (citação do link da wikipedia na RNN citado anteriormente):

Em cada etapa do tempo, a entrada é propagada de maneira padrão de feed-forward e, em seguida, uma regra de aprendizado é aplicada. As conexões de retorno fixo resultam nas unidades de contexto sempre mantendo uma cópia dos valores anteriores das unidades ocultas (uma vez que elas se propagam pelas conexões antes da aplicação da regra de aprendizado). Assim, a rede pode manter um tipo de estado, permitindo executar tarefas como predição de sequência que estão além do poder de um perceptron padrão de multicamadas.

na prática, não são iguais às redes neurais com atraso de tempo? Caso contrário, quais são as diferenças com as redes neurais com atraso de tempo? Ambos são adequados para uso com séries temporais ou qual é o mais adequado?

Obrigado antecipadamente!

Nunca trabalhei com redes recorrentes, mas pelo que sei, na prática, alguns RNN e TDNN podem ser usados ​​para o mesmo objetivo que você deseja: Prever valores de séries temporais. No entanto, eles trabalham diferentes.

É possível com o TDNN:

• Prever valores do processo
• Encontre um relacionamento entre dois processos.

Alguns RNN, como o NARX, também permitem fazer isso, e também são usados ​​para prever séries temporais financeiras, geralmente melhores que o TDNN.

Um TDNN se parece mais com uma rede de feedforward, porque o aspecto do tempo é inserido apenas através de suas entradas, ao contrário do NARX, que também precisa do valor futuro previsto / real como entrada. Essa característica torna o TDNN menos robusto que o NARX para prever valores, mas requer menos processamento e é mais fácil de treinar.

$X(t)$$Y(t)$$Y$

Eu recomendo ler as Redes Neurais de Simon Haykin: Uma Fundação Abrangente (2ª Edição) e esta FAQ . Existem muitas arquiteturas e variações de redes neurais. Às vezes, eles têm muitos nomes ou não há consenso sobre sua classificação.

TDNNs é uma maneira simples de representar um mapeamento entre valores passados ​​e presentes. Os atrasos no TDNN permanecem constantes durante todo o procedimento de treinamento e são estimados antes usando tentativa e erro, juntamente com algumas heurísticas. No entanto, pode ser que esses atrasos fixos não capturem os locais temporais reais das dependências de tempo. Por outro lado, o recurso "memória" das estruturas da RNN pode capturar essas informações aprendendo essas dependências. O problema com as RNNs é que elas são impraticáveis ​​de usar quando treinadas com técnicas tradicionais (por exemplo, retropropagação ao longo do tempo) para aprender dependências de longo prazo. Esse problema surge do chamado "desaparecimento / explosão" gradiente, o que basicamente significa que, à medida que propagamos os sinais de erro para trás pela estrutura de redes, eles tendem a desaparecer ou explodir. Estruturas recorrentes mais avançadas (por exemplo, LSTM) possuem propriedades que atenuam esse problema e podem aprender dependências de longo prazo e são particularmente adequadas para o aprendizado de dados seqüenciais.