Perguntas com a marcação «gradient»

Enquanto aprendia sobre o Gradient Boosting, não ouvi nenhuma restrição sobre as propriedades de um "classificador fraco" que o método usa para criar e agrupar modelos. No entanto, eu não conseguia imaginar uma aplicação de um GB que usa regressão linear e, de fato, quando realizei alguns testes - ele …

35 regression  machine-learning  boosting  ensemble  gradient 

Estou tentando aumentar o gradiente em um conjunto de dados com taxa de eventos de cerca de 1% usando o Enterprise miner, mas está falhando em produzir qualquer saída. Minha pergunta é: como é uma abordagem baseada em árvore de decisão, é correto usar o aumento de gradiente com um …

14 boosting  unbalanced-classes  rare-events  gradient 

O problema é: Derive o gradiente em relação à camada de entrada para uma rede neural de camada única oculta usando sigmoid para entrada -> oculta, softmax para oculta -> saída, com perda de entropia cruzada. Eu posso passar a maior parte da derivação usando a regra de cadeia, mas …

9 neural-networks  gradient 

Que situações sabemos onde a descida do gradiente pode convergir (para um ponto crítico ou para um mínimo local / global) para funções não convexas? Para o SGD em funções não convexas, um tipo de prova foi revisado aqui, http://www.cs.cornell.edu/courses/cs6787/2017fa/Lecture7.pdf

9 gradient-descent  gradient  sgd  non-convex 

Baseado na árvore de aumento de gradiente vs floresta aleatória . GBDT e RF usando estratégias diferentes para lidar com tendências e variações. Minha pergunta é: posso alterar a amostra do conjunto de dados (com substituição) para treinar vários GBDT e combinar suas previsões como resultado final? É equivalente a …

8 random-forest  cart  boosting  bagging  gradient 

Eu fiz uma rede neural convolucional e queria verificar se meus gradientes estão sendo calculados corretamente usando a verificação numérica de gradiente. A questão é, quão perto está o suficiente? Minha função de verificação apenas cospe a derivada calculada, a derivada numericamente aproximada, a diferença entre os dois e se …

8 neural-networks  conv-neural-network  gradient