Perguntas com a marcação «gradient-descent»

Isso é algo que me incomoda há um tempo e eu não consegui encontrar respostas satisfatórias online, então aqui vai: Depois de revisar um conjunto de palestras sobre otimização convexa, o método de Newton parece ser um algoritmo muito superior ao da descida do gradiente para encontrar soluções globalmente ótimas, …

132 machine-learning  optimization  gradient-descent  hessian 

Suponha que tenhamos algum conjunto de treinamento para . Suponha também que executemos algum tipo de algoritmo de aprendizado supervisionado no conjunto de treinamento. As hipóteses são representadas como . Precisamos encontrar os parâmetros que minimizem a "distância" entre e . Seja(x(i),y(i))(x(i),y(i))(x_{(i)}, y_{(i)})i=1,…,mi=1,…,mi = 1, \dots, mhθ(x(i))=θ0+θ1x(i)1+⋯+θnx(i)nhθ(x(i))=θ0+θ1x(i)1+⋯+θnx(i)nh_{\theta}(x_{(i)}) = \theta_0+\theta_{1}x_{(i)1} + …

101 optimization  gradient-descent  sgd 

Estou participando dos cursos de aprendizado de máquina on-line e aprendi sobre a descida do gradiente para calcular os valores ideais da hipótese. h(x) = B0 + B1X por que precisamos usar a descida do gradiente se podemos encontrar facilmente os valores com a fórmula abaixo? Isso parece direto e …

74 regression  machine-learning  gradient-descent 

No curso de aprendizado de máquina de Andrew Ng , ele introduz a regressão linear e a regressão logística e mostra como ajustar os parâmetros do modelo usando a descida do gradiente e o método de Newton. Eu sei que a descida gradiente pode ser útil em algumas aplicações de …

71 regression  machine-learning  logistic  gradient-descent 

Uma época em descida de gradiente estocástico é definida como uma única passagem pelos dados. Para cada minibatch SGD, amostras são coletadas, o gradiente calculado e os parâmetros atualizados. Na configuração de época, as amostras são coletadas sem substituição.kkk Mas isso parece desnecessário. Por que não desenhar cada minibatch do …

69 neural-networks  deep-learning  gradient-descent 

A descida de gradiente e muitos outros métodos são úteis para encontrar mínimos locais em funções de custo. Eles podem ser eficientes quando a função de custo pode ser avaliada rapidamente em cada ponto, seja numericamente ou analiticamente. Eu tenho o que me parece ser uma situação incomum. Cada avaliação …

59 gradient-descent  optimization  bayesian-optimization 

Na maioria dos códigos de fluxo de tensão, o Adam Optimizer é usado com uma taxa de aprendizado constante de 1e-4(ou seja, 0,0001). O código geralmente tem a seguinte aparência: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

Entendo que a descida do gradiente estocástico pode ser usada para otimizar uma rede neural usando retropropagação, atualizando cada iteração com uma amostra diferente do conjunto de dados de treinamento. Qual deve ser o tamanho do lote?

49 machine-learning  neural-networks  gradient-descent  backpropagation 

Portanto, a descida do gradiente com base no momento funciona da seguinte maneira: v = s e l f. m o m e n t u m ∗ m - l r ∗ gv=self.momentum∗m−lr∗gv=self.momentum*m-lr*g onde é a atualização de peso anterior e g é o gradiente atual em relação aos …

48 optimization  gradient-descent 

Eu escrevi um MLP simples no TensorFlow que está modelando um XOR-Gate . Então para: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] deve produzir o seguinte: output_data = [[0.], [1.], [1.], [0.]] A rede possui uma camada de entrada, uma camada oculta e uma camada de saída …

45 machine-learning  neural-networks  error  gradient-descent  supervised-learning 

Eu estou familiarizado com algoritmos básicos de descida de gradiente para o treinamento de redes neurais. Eu li o artigo propondo Adam: ADAM: UM MÉTODO PARA OTIMIZAÇÃO ESTOCÁSTICA . Embora eu tenha definitivamente algumas idéias (pelo menos), o artigo parece estar em um nível muito alto para mim em geral. …

45 neural-networks  optimization  gradient-descent  adam 

Momentum é usado para diminuir as flutuações nas alterações de peso em iterações consecutivas:αα\alpha E(w)wηΔ ωEu( t + 1 ) = - η∂E∂WEu+ α Δ ωEu( T ) ,ΔωEu(t+1)=-η∂E∂WEu+αΔωEu(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t), que é a função de erro, - o vetor de pesos, - …

41 neural-networks  optimization  regularization  gradient-descent 

Encontrei a unidade linear retificada (ReLU) elogiada em vários locais como uma solução para o problema do gradiente de fuga para redes neurais. Ou seja, usa-se max (0, x) como função de ativação. Quando a ativação é positiva, é óbvio que isso é melhor do que, digamos, a função de …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

Estou tentando entender a história da descida de gradiente e descida de gradiente estocástico . A descida em gradiente foi inventada em Cauchy em 1847. O método geral para a resolução de sistemas de equações simultâneas . pp. 536-538 Para obter mais informações, consulte aqui . Desde então, os métodos …

36 references  gradient-descent  history  sgd 

Eu estava tentando aprender aprendizado de máquina usando o material Coursera . Nesta palestra, Andrew Ng usa o algoritmo de descida de gradiente para encontrar os coeficientes do modelo de regressão linear que minimizarão a função de erro (função de custo). Para regressão linear, precisamos de descida de gradiente? Parece …

31 regression  machine-learning  linear-model  gradient-descent