Perguntas com a marcação «batch-normalization»

Então, recentemente, há um artigo sobre Normalização de Camadas . Há também uma implementação no Keras. Mas lembro-me de que existem artigos intitulados Normalização de Lote Recorrente (Cooijmans, 2016) e Redes Neurais Recorrentes Normalizadas em Lote (Laurent, 2015). Qual é a diferença entre esses três? Existe esta seção de trabalho …

30 deep-learning  rnn  normalization  batch-normalization 

A normalização de lote é descrita neste documento como uma normalização da entrada para uma função de ativação com variáveis ​​de escala e deslocamento e \ beta . Este artigo descreve principalmente o uso da função de ativação sigmóide, que faz sentido. No entanto, parece-me que alimentar uma entrada da …

10 machine-learning  neural-network  deep-learning  batch-normalization 

Normalização em lote e ReLUs são soluções para o problema do gradiente de fuga. Se estamos usando a normalização em lote, devemos usar sigmoides? Ou existem recursos de ReLUs que os fazem valer a pena mesmo ao usar batchnorm? Suponho que a normalização feita no batchnorm enviará zero ativações negativas. …

9 deep-learning  batch-normalization 

No documento Normalização em lote: acelerando o treinamento em rede profunda por Redução da mudança interna de covariáveis ​​( aqui ) Antes de explicar o processo de normalização em lote, o artigo tenta explicar os problemas relacionados (não estou entendendo qual é o problema exato abordado aqui) . excerto da …

8 neural-network  deep-learning  batch-normalization