Perguntas com a marcação «gradient-descent»

Eu li que o algoritmo k-means apenas converge para um mínimo local e não para um mínimo global. Por que é isso? Posso pensar logicamente como a inicialização pode afetar o clustering final e existe a possibilidade de clustering abaixo do ideal, mas não encontrei nada que provasse isso matematicamente. …

17 clustering  k-means  convergence  gradient-descent  minimum 

Quais são os prós e os contras dos dois métodos?

16 maximum-likelihood  predictive-models  optimization  gradient-descent 

Atualmente, leio o artigo Efficient Online e Batch Learning usando a divisão forward-backward de John Duchi e Yoram Singer. Estou muito confuso sobre o uso dos termos 'Online' e 'Lote'. Pensei 'Online' significa que atualizamos os parâmetros de peso após o processamento de uma unidade dos dados de treinamento. Em …

16 machine-learning  online  gradient-descent 

A Descida de gradiente padrão calcularia o gradiente para todo o conjunto de dados de treinamento. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Para um número predefinido de épocas, primeiro calculamos o vetor de gradiente weights_grad da função de perda para …

15 machine-learning  optimization  gradient-descent  computational-statistics  sgd 

Eu experimentei um pouco com diferentes implementações do Perceptron e quero ter certeza de que entendi as "iterações" corretamente. Regra original do perceptron de Rosenblatt Tanto quanto eu entendo, no algoritmo clássico de Rosenblatt perceptron, os pesos são atualizados simultaneamente após cada exemplo de treinamento via Δw(t+1)=Δw(t)+η(target−actual)xiΔw(t+1)=Δw(t)+η(target−actual)xi\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + …

15 optimization  gradient-descent  perceptron 

Quando implementei o mini gradiente de lote decente, apenas calculei a média dos gradientes de todos os exemplos no lote de treinamento. No entanto, notei que agora a taxa de aprendizado ideal é muito maior do que a do gradiente on-line decente. Minha intuição é que isso ocorre porque o …

15 neural-networks  gradient-descent  backpropagation 

Eu tenho lido muito sobre redes neurais convolutivas e queria saber como elas evitam o problema de gradiente que desaparece. Sei que redes de crenças profundas empilham codificadores automáticos de nível único ou outras redes rasas pré-treinadas e, portanto, podem evitar esse problema, mas não sei como é evitado nas …

15 machine-learning  optimization  deep-learning  gradient-descent 

A literatura de aprendizado profundo está cheia de truques inteligentes com o uso de taxas de aprendizado não constantes na descida do gradiente. Coisas como decaimento exponencial, RMSprop, Adagrad etc. são fáceis de implementar e estão disponíveis em todos os pacotes de aprendizado profundo, mas parecem inexistentes fora das redes …

14 machine-learning  deep-learning  optimization  gradient-descent 

Atualmente, estou um pouco confuso com a forma como a descida do gradiente de mini-lote pode ser presa em um ponto de sela. A solução pode ser muito trivial que eu não entendo. Você começa uma amostra nova todas as épocas, e calcula um novo erro com base em um …

14 gradient-descent  sgd 

Estou usando o vowpal wabbit para resolver um problema de bandido contextual . Estou exibindo anúncios para os usuários e tenho bastante informações sobre o contexto em que o anúncio é exibido (por exemplo, quem é o usuário, em que site ele está, etc.). Esse parece ser um problema clássico …

14 multinomial  gradient-descent  multiarmed-bandit  vowpal-wabbit  contextual-bandit 

Vou ver os vídeos do curso de aprendizado de máquina on - line gratuito de Andrew Ng em Stanford. Ele discute o Gradient Descent como um algoritmo para resolver funções de regressão linear e escrita no Octave para executá-lo. Presumivelmente, eu poderia reescrever essas funções em R, mas minha pergunta …

14 r  regression  machine-learning  gradient-descent 

Recentemente, li um artigo de Yann Dauphin et al. Identificando e atacando o problema do ponto de sela na otimização não convexa de alta dimensão , onde eles introduzem um interessante algoritmo de descida chamado Saddle-Free Newton , que parece ser exatamente adaptado para otimização de rede neural e não …

13 optimization  deep-learning  gradient-descent 

Existe alguma literatura que examine a escolha do tamanho de minibatch ao realizar a descida do gradiente estocástico? Na minha experiência, parece ser uma escolha empírica, geralmente encontrada por meio de validação cruzada ou usando regras práticas variadas. É uma boa ideia aumentar lentamente o tamanho do minibatch à medida …

13 machine-learning  gradient-descent  hyperparameter  deep-learning 

Digamos que nosso conjunto de dados contenha 1 milhão de exemplos, ou seja, , e desejamos usar a descida do gradiente para realizar uma regressão logística ou linear nesse conjunto de dados.x1,…,x106x1,…,x106x_1, \ldots, x_{10^6} O que é o método do gradiente descendente que o torna ineficiente? Lembre-se de que a …

12 machine-learning  gradient-descent  large-data 

Estudei regressão linear e tentei no conjunto abaixo {(x, y)}, em que x especificou a área da casa em metros quadrados e y especificou o preço em dólares. Este é o primeiro exemplo no Andrew Ng Notes . 2104.400 1600.330 2400.369 1416.232 3000.540 Eu desenvolvi um código de exemplo, mas …

12 regression  least-squares  gradient-descent  supervised-learning