Estatísticas e Big Data gradient-descent

2

Como a descida do gradiente de minibatch atualiza os pesos para cada exemplo em um lote?

Se processarmos, digamos, 10 exemplos em um lote, entendo que podemos somar a perda para cada exemplo, mas como a retropropagação funciona em relação à atualização dos pesos para cada exemplo? Por exemplo: Exemplo 1 -> perda = 2 Exemplo 2 -> perda = -2 Isso resulta em uma perda …

12 neural-networks gradient-descent backpropagation tensorflow

1

Gradiente para a função de perda logística

Eu faria uma pergunta relacionada a este . Encontrei um exemplo de como escrever a função de perda personalizada para o xgboost aqui : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <- …

12 r machine-learning gradient-descent boosting loss-functions

2

É possível avaliar o GLM no Python / scikit-learn usando as distribuições Poisson, Gamma ou Tweedie como a família para a distribuição de erros?

Tentando aprender um pouco de Python e Sklearn, mas para o meu trabalho eu preciso executar regressões que usem distribuições de erro das famílias Poisson, Gamma e, especialmente, Tweedie. Não vejo nada na documentação sobre eles, mas eles estão em várias partes da distribuição R, então eu queria saber se …

12 generalized-linear-model python scikit-learn gradient-descent tweedie-distribution

1

O que significa "baunilha"?

Nos blogs de aprendizado de máquina, encontro frequentemente a palavra "baunilha". Por exemplo, "Descida de gradiente de baunilha" ou "método de baunilha". Esse termo nunca é visto literalmente em nenhum livro didático de otimização. Por exemplo, neste post , ele diz: Essa é a forma mais simples da técnica de …

12 machine-learning optimization terminology gradient-descent

2

As redes residuais estão relacionadas ao aumento de gradiente?

Recentemente, vimos o surgimento da Rede Neural Residual, em que cada camada consiste em um módulo computacional e uma conexão de atalho que preserva a entrada na camada, como mostra a saída da i-ésima camada: A rede permite extrair recursos residuais e permite uma profundidade mais profunda, ao mesmo tempo …

11 machine-learning neural-networks deep-learning gradient-descent residual-networks

1

R / mgcv: Por que os produtos tensores te () e ti () produzem superfícies diferentes?

O mgcvpacote para Rpossui duas funções para ajustar as interações do produto tensorial: te()e ti(). Entendo a divisão básica do trabalho entre os dois (ajustando uma interação não linear versus decompondo essa interação em efeitos principais e uma interação). O que não entendo é o porquê te(x1, x2)e ti(x1) + …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

4

Quando usar descida de gradiente versus Monte Carlo como uma técnica de otimização numérica

Quando um conjunto de equações não pode ser resolvido analiticamente, podemos usar um algoritmo de descida de gradiente. Mas parece que também existe o método de simulação de Monte Carlo que pode ser usado para resolver problemas que não possuem soluções analíticas. Como saber quando usar a descida de gradiente …

11 monte-carlo gradient-descent

2

Como treinar um SVM via retropropagação?

Eu queria saber se era possível treinar um SVM (digamos um linear, para facilitar as coisas) usando a retropropagação? Atualmente, estou em um obstáculo, porque só consigo pensar em escrever a saída do classificador como f( x ; θ , b ) = sgn ( θ ⋅ x - ( …

10 machine-learning neural-networks svm gradient-descent backpropagation

1

Um modelo de P (Y | X) pode ser treinado por descida de gradiente estocástico a partir de amostras não-iid de P (X) e de amostras iid de P (Y | X)?

Ao treinar um modelo parametrizado (por exemplo, para maximizar a probabilidade) por meio de descida estocástica do gradiente em alguns conjuntos de dados, geralmente é assumido que as amostras de treinamento são extraídas da distribuição de dados de treinamento. Portanto, se o objetivo é modelar uma distribuição conjunta , cada …

10 machine-learning conditional-probability reinforcement-learning gradient-descent

2

Como definir o tamanho do mini lote em SGD em keras

Eu sou novo em Keras e preciso de sua ajuda. Estou treinando uma rede neural em Keras e minha função de perda é a diferença ao quadrado entre a saída e o valor-alvo da rede. Eu quero otimizar isso usando a Descida de gradiente. Depois de passar por alguns links …

10 neural-networks python gradient-descent keras sgd

2

Cadeia de Markov Monte Carlo (MCMC) para estimativa de máxima verossimilhança (MLE)

Estou lendo um artigo da conferência de 1991 de Geyer, que está relacionado abaixo. Nele, ele parece iludir-se com um método que pode usar o MCMC para estimativa de parâmetros MLE Isso me excita desde então, codifiquei algoritmos BFGS, GAs e todos esses tipos de métodos horríveis e de sorte …

10 maximum-likelihood mcmc gradient-descent minimum

4

Otimização de descida de gradiente

Estou tentando entender a otimização da descida do gradiente nos algoritmos de ML (aprendizado de máquina). Entendo que existe uma função de custo - em que o objetivo é minimizar o erro . Em um cenário em que os pesos estão sendo otimizados para fornecer o erro mínimo e derivadas …

9 optimization gradient-descent

2

Por que minhas etapas estão diminuindo ao usar tamanho fixo de etapa em descida de gradiente?

Suponha que estejamos fazendo um exemplo de brinquedo decente em gradiente, minimizando uma função quadrática , usando tamanho de passo fixo . ( )α = 0,03 A = [ 10 , 2 ; 2 , 3 ]xTAxxTAxx^TAxα=0.03α=0.03\alpha=0.03A=[10,2;2,3]A=[10,2;2,3]A=[10, 2; 2, 3] Se traçarmos o traço de xxx em cada iteração, obteremos …

9 r machine-learning optimization gradient-descent

1

Por que descida proximal do gradiente em vez de métodos simples de subgradiente para Lasso?

Eu estava pensando em resolver Lasso através de métodos de subgradiente de baunilha. Mas li pessoas sugerindo o uso da descida proximal do gradiente. Alguém pode destacar por que o GD proximal, em vez de os métodos do subgradiente de baunilha, são usados no Lasso?

9 machine-learning optimization lasso gradient-descent

1

Como o gradiente está aumentando como a descida do gradiente?

Estou lendo a útil entrada da Wikipedia sobre aumento de gradiente ( https://en.wikipedia.org/wiki/Gradient_boosting ) e tento entender como / por que podemos aproximar os resíduos pela etapa de descida mais íngreme (também chamada de pseudo-gradiente ) Alguém pode me dar a intuição de como a descida mais íngreme está ligada …

9 self-study gradient-descent

Perguntas com a marcação «gradient-descent»