Perguntas com a marcação «backpropagation»

Muitos livros e tutoriais de redes neurais gastam muito tempo com o algoritmo de retropropagação, que é essencialmente uma ferramenta para calcular o gradiente. Vamos supor que estamos construindo um modelo com ~ 10K parâmetros / pesos. É possível executar a otimização usando alguns algoritmos de otimização sem gradiente? Eu …

94 machine-learning  neural-networks  optimization  backpropagation 

Entendo que a descida do gradiente estocástico pode ser usada para otimizar uma rede neural usando retropropagação, atualizando cada iteração com uma amostra diferente do conjunto de dados de treinamento. Qual deve ser o tamanho do lote?

49 machine-learning  neural-networks  gradient-descent  backpropagation 

Especificamente, suponho que me pergunto sobre essa afirmação: As principais versões futuras do TensorFlow permitirão que os gradientes fluam para a entrada de etiquetas no backprop por padrão. O que é mostrado quando eu uso tf.nn.softmax_cross_entropy_with_logits. Na mesma mensagem, exorta-me a dar uma olhada tf.nn.softmax_cross_entropy_with_logits_v2. Examinei a documentação, mas apenas …

41 machine-learning  supervised-learning  tensorflow  backpropagation 

Estou tentando entender como a retropropagação funciona para uma camada de saída softmax / entropia cruzada. A função de erro de entropia cruzada é E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j com ttt e ooo como alvo e saída no neurônio jjj , respectivamente. A soma é sobre cada neurônio na camada de …

40 backpropagation  derivative  softmax  cross-entropy 

Eu li alguns artigos discutindo prós e contras de cada método, alguns argumentando que o GA não melhora nenhuma a solução ideal, enquanto outros mostram que é mais eficaz. Parece que o GA é geralmente preferido na literatura (embora a maioria das pessoas o modifique de alguma maneira para alcançar …

34 neural-networks  genetic-algorithms  backpropagation 

No curso de redes neurais e aprendizado profundo de Andrew Ng, sobre o Coursera, ele diz que usar é quase sempre preferível ao .tanhtanhtanhsigmoidsigmoidsigmoid A razão que ele dá é que as saídas usando centralizam em torno de 0 em vez de 0,5 da , e isso "torna o aprendizado …

33 machine-learning  neural-networks  backpropagation  sigmoid-curve 

Por que é perigoso inicializar pesos com zeros? Existe algum exemplo simples que demonstre isso?

30 neural-networks  backpropagation 

Eu li aqui o seguinte: As saídas sigmóides não são centralizadas em zero . Isso é indesejável, uma vez que neurônios em camadas posteriores de processamento em uma rede neural (mais sobre isso em breve) receberiam dados que não são centralizados em zero. Isto tem implicações sobre a dinâmica durante …

26 neural-networks  deep-learning  backpropagation 

Estou curioso para saber como os gradientes são propagados novamente através de uma rede neural usando módulos ResNet / pular conexões. Eu já vi algumas perguntas sobre o ResNet (por exemplo, rede neural com conexões de camada de salto ), mas esta pergunta especificamente sobre a propagação de retorno de …

22 machine-learning  neural-networks  conv-neural-network  gradient-descent  backpropagation 

Ao treinar uma rede neural usando o algoritmo de retropropagação, o método de descida de gradiente é usado para determinar as atualizações de peso. Minha pergunta é: Em vez de usar o método de descida de gradiente para localizar lentamente o ponto mínimo com relação a um determinado peso, por …

22 neural-networks  gradient-descent  backpropagation 

No treinamento de redes neurais profundas e rasas, por que os métodos de gradiente (por exemplo, descida de gradiente, Nesterov, Newton-Raphson) são comumente usados, em oposição a outras metaheurísticas? Por metaheurísticas, refiro-me a métodos como recozimento simulado, otimização de colônias de formigas etc., que foram desenvolvidos para evitar o empate …

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

Por que a retropropagação não funciona quando você inicializa todo o peso com o mesmo valor (por exemplo, 0,5), mas funciona bem quando dados números aleatórios? O algoritmo não deveria calcular o erro e trabalhar a partir daí, apesar de os pesos serem inicialmente os mesmos?

20 machine-learning  neural-networks  backpropagation 

Fiquei um pouco confuso sobre o algoritmo de retropropagação usado no perceptron multicamada (MLP). O erro é ajustado pela função de custo. Na retropropagação, estamos tentando ajustar o peso das camadas ocultas. O erro de saída que posso entender, isto é, e = d - y[Sem os subscritos]. As perguntas …

19 machine-learning  neural-networks  backpropagation 

Quando implementei o mini gradiente de lote decente, apenas calculei a média dos gradientes de todos os exemplos no lote de treinamento. No entanto, notei que agora a taxa de aprendizado ideal é muito maior do que a do gradiente on-line decente. Minha intuição é que isso ocorre porque o …

15 neural-networks  gradient-descent  backpropagation 

Em uma rede neural recorrente, você costuma encaminhar a propagação por várias etapas de tempo, "desenrolar" a rede e depois propagá-la pela sequência de entradas. Por que você não atualiza apenas os pesos após cada etapa individual da sequência? (o equivalente a usar um comprimento de truncamento de 1, para …

14 time-series  neural-networks  backpropagation  rnn