Perguntas com a marcação «backpropagation»

Ao inicializar pesos de conexão em uma rede neural de feedforward, é importante inicializá-los aleatoriamente para evitar simetrias que o algoritmo de aprendizado não seria capaz de quebrar. A recomendação que vi em vários locais (por exemplo, no tutorial MNIST do TensorFlow ) é usar a distribuição normal truncada usando …

13 neural-networks  backpropagation  weights  truncated-normal 

Eu tenho um conhecimento básico de como as RNNs (e, em particular, com as unidades LSTMs) funcionam. Tenho uma idéia pictórica da arquitetura de uma unidade LSTM, que é uma célula e alguns portões, que regulam o fluxo de valores. No entanto, aparentemente, eu não entendi completamente como o LSTM …

13 neural-networks  lstm  rnn  backpropagation 

A normalização de lotes foi creditada com melhorias substanciais de desempenho em redes neurais profundas. Muito material na internet mostra como implementá-lo, ativação por ativação. Eu já implementei backprop usando álgebra matricial e, como estou trabalhando em linguagens de alto nível (enquanto confio em Rcpp(e eventualmente GPUs) para multiplicação densa …

12 machine-learning  neural-networks  deep-learning  backpropagation  batch-normalization 

Digamos que eu use um RNN / LSTM para fazer análise de sentimentos, que é uma abordagem muitos-para-um (consulte este blog ). A rede é treinada por meio de uma retropropagação truncada ao longo do tempo (BPTT), em que a rede é desenrolada por apenas 30 últimas etapas, como de …

12 neural-networks  deep-learning  natural-language  backpropagation 

Se processarmos, digamos, 10 exemplos em um lote, entendo que podemos somar a perda para cada exemplo, mas como a retropropagação funciona em relação à atualização dos pesos para cada exemplo? Por exemplo: Exemplo 1 -> perda = 2 Exemplo 2 -> perda = -2 Isso resulta em uma perda …

12 neural-networks  gradient-descent  backpropagation  tensorflow 

Atualmente, estou trabalhando em um software de reconhecimento de rosto que usa redes neurais de convolução para reconhecer rostos. Com base nas minhas leituras, concluí que uma rede neural convolucional compartilhou pesos, para economizar tempo durante o treinamento. Mas como adaptar a retropropagação para que possa ser usada em uma …

11 machine-learning  neural-networks  computer-vision  backpropagation  conv-neural-network 

Eu queria saber se era possível treinar um SVM (digamos um linear, para facilitar as coisas) usando a retropropagação? Atualmente, estou em um obstáculo, porque só consigo pensar em escrever a saída do classificador como f( x ; θ , b ) = sgn ( θ ⋅ x - ( …

10 machine-learning  neural-networks  svm  gradient-descent  backpropagation 

Entendo que o pré-treinamento é usado para evitar alguns dos problemas do treinamento convencional. Se eu usar a retropropagação com, digamos, um autoencodificador, sei que vou ter problemas de tempo porque a retropropagação é lenta, e também que posso ficar preso no ótimo local e não aprender certos recursos. O …

10 machine-learning  neural-networks  backpropagation  rbm  pre-training 

Deste vídeo por Andrew Ng por volta das 5:00 Como são e ? De fato, o que significa? é obtido comparando com y, essa comparação não é possível para a saída de uma camada oculta, certo?δ3δ3\delta_3δ2δ2\delta_2δ3δ3\delta_3δ4δ4\delta_4

10 machine-learning  neural-networks  backpropagation 

Estou enfrentando os problemas dos problemas de atribuição escrita da classe de aprendizado profundo da Stanford PNL http://cs224d.stanford.edu/assignment1/assignment1_soln Estou tentando entender a resposta para 3a onde eles estão procurando a derivada do vetor para a palavra central. Suponha que você receba um vetor de palavras previsto correspondente à palavra central …

9 self-study  neural-networks  backpropagation  word2vec 

Comecei a ler sobre Redes Neurais Recorrentes (RNNs) e Memória de Longo Prazo (LSTM) ... (... oh, não há pontos de representantes suficientes aqui para listar referências ...) Uma coisa que eu não entendo: sempre parece que os neurônios em cada instância de uma camada oculta ficam "totalmente conectados" com …

8 machine-learning  neural-networks  backpropagation 

Estou usando dois perceptrons de múltiplas camadas de feedforward de múltiplas camadas (MLPs). Com os mesmos dados de entrada (14 neurônios de entrada), faço uma classificação (verdadeiro / falso) e uma regressão (se verdadeiro, "quanto") ¹. Até agora, usei preguiçosamente o Matlabs patternnet e fitnet , respectivamente. Preguiçosamente, porque não …

8 regression  machine-learning  backpropagation 

Estou demorando um pouco para tentar entender os cálculos e a mecânica dos algoritmos de aprendizado de máquina que uso no meu dia-a-dia. Estudando a literatura de retropropagação no curso CS231n, quero ter certeza de que entendi a regra da cadeia corretamente antes de continuar meu estudo. Digamos que tenho …

7 machine-learning  intuition  backpropagation