Perguntas com a marcação «gradient-descent»

Estou lendo a documentação do PyTorch e encontrei um exemplo onde eles escrevem gradients = torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad) onde x era uma variável inicial, a partir da qual y foi construído (um 3-vetor). A questão é: quais são os argumentos de 0,1, 1,0 e 0,0001 do tensor de …

112 neural-network  gradient  pytorch  torch  gradient-descent 

Fechadas. Esta pergunta não atende às diretrizes do Stack Overflow . Atualmente não está aceitando respostas. Quer melhorar esta questão? Atualize a pergunta para que esteja no tópico do Stack Overflow. Fechado há 3 dias . Melhore esta questão Estou tentando construir uma rede neural do zero. Em toda a …

105 machine-learning  neural-network  artificial-intelligence  mathematical-optimization  gradient-descent 

Percebi que uma ocorrência frequente durante o treinamento está NANsendo introduzida. Freqüentemente, parece ser introduzido por pesos em camadas de produto interno / totalmente conectadas ou de convolução explodindo. Isso está ocorrendo porque o cálculo do gradiente está explodindo? Ou é por causa da inicialização do peso (em caso afirmativo, …

86 machine-learning  neural-network  deep-learning  caffe  gradient-descent 

Estou tentando escrever meu próprio algoritmo de aumento de gradiente. Eu entendo que existem pacotes como gbme, xgboost,mas eu queria entender como o algoritmo funciona escrevendo meus próprios. Estou usando o irisconjunto de dados e meu resultado é Sepal.Length(contínuo). Minha função de perda é mean(1/2*(y-yhat)^2)(basicamente o erro quadrático médio com …

10 r  machine-learning  gradient-descent  gbm  boosting