Perguntas com a marcação «gradient-descent»

A descida de gradiente é um algoritmo de otimização iterativa de primeira ordem. Para encontrar um mínimo local de uma função usando a descida do gradiente, é necessário executar etapas proporcionais ao negativo do gradiente (ou do gradiente aproximado) da função no ponto atual. Para descida de gradiente estocástico, há também a tag [sgd].

Determinar a taxa de aprendizado ideal para a descida do gradiente na regressão linear

Como determinar a taxa de aprendizado ideal para a descida do gradiente? Estou pensando em poder ajustá-lo automaticamente se a função cost retornar um valor maior do que na iteração anterior (o algoritmo não convergirá), mas não tenho muita certeza de qual novo valor deve ser utilizado.

9 regression machine-learning gradient-descent

Descida de gradiente ou não para regressão linear simples

Existem vários sites que descrevem a descida do gradiente para encontrar os parâmetros para a regressão linear simples ( aqui está um deles). O Google também a descreve em seu novo curso de ML (para o público). No entanto, na Wikipedia , são fornecidas as seguintes fórmulas para calcular os …

9 regression scikit-learn gradient-descent

Descida de gradiente em funções não convexas

Que situações sabemos onde a descida do gradiente pode convergir (para um ponto crítico ou para um mínimo local / global) para funções não convexas? Para o SGD em funções não convexas, um tipo de prova foi revisado aqui, http://www.cs.cornell.edu/courses/cs6787/2017fa/Lecture7.pdf

9 gradient-descent gradient sgd non-convex

Definição da complexidade de uma árvore no xgboost

Pesquisando sobre o algoritmo xgboost, examinei a documentação . Nesta abordagem, as árvores são regularizadas usando a definição de complexidade que e são parâmetros, é o número de folhas terminais e é a pontuação em cada folha. γλTwjΩ ( f) = γT+ 12λ ∑j = 1TW2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = \gamma T …

9 cart regularization boosting gradient-descent overfitting

Como os gradientes se propagam em uma rede neural recorrente desenrolada?

Estou tentando entender como o rnn pode ser usado para prever sequências, trabalhando com um exemplo simples. Aqui está minha rede simples, consistindo em uma entrada, um neurônio oculto e uma saída: O neurônio oculto é a função sigmóide e a saída é considerada uma saída linear simples. Então, eu …

8 machine-learning neural-networks deep-learning gradient-descent

Gradiente de verossimilhança gaussiana multivariada

Estou tentando encontrar a estimativa MAP para um modelo por descida gradiente. Meu prior é gaussiano multivariado com uma matriz de covariância conhecida. Em um nível conceitual, acho que sei como fazer isso, mas esperava alguma ajuda com os detalhes. Em particular, se houver uma maneira mais fácil de abordar …

8 normal-distribution covariance-matrix regularization gradient-descent ridge-regression

Ajustando um modelo de mistura gaussiana usando descida de gradiente estocástico

Estou trabalhando em um modelo de aprendizado de categoria on-line que usa descida de gradiente estocástico para se ajustar a um modelo de mistura gaussiana. O modelo é baseado no modelo de aprendizado on-line usado em Toscano e McMurray (2010). Embora a descida do gradiente pareça estar funcionando razoavelmente bem …

8 python online gaussian-mixture gradient-descent

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.

Licensed under cc by-sa 3.0 with attribution required.