Perguntas com a marcação «optimization»

Quais são os prós e os contras dos dois métodos?

16 maximum-likelihood  predictive-models  optimization  gradient-descent 

Se começarmos com um conjunto de dados , aplicar o Lasso a ele e obter uma solução , podemos aplicar o Lasso novamente ao conjunto de dados , onde é o conjunto de zero índices de , para obter uma solução, , chamada solução 'LASSO relaxada' (corrija-me se estiver errado!). …

16 regression  optimization  lasso  regularization  shrinkage 

Minhas perguntas são: Os modelos lineares generalizados (GLMs) garantem convergir para um máximo global? Se sim, por quê? Além disso, que restrições existem na função de link para garantir a convexidade? Meu entendimento dos GLMs é que eles maximizam uma função de probabilidade altamente não-linear. Assim, eu imaginaria que existem …

16 generalized-linear-model  optimization  convergence  exponential-family 

Eu preciso encontrar o mínimo de uma função. Lendo os documentos em http://docs.scipy.org/doc/scipy/reference/optimize.html Vejo que existem vários algoritmos que fazem a mesma coisa, ou seja, encontram o mínimo. Como sei qual devo escolher? alguns dos algoritmos listados Minimize uma função usando o algoritmo simplex em declive. Minimize uma função usando …

16 optimization 

Existem muitas publicações que enfatizam o método de Maximização de Expectativas em modelos de mistura (Mistura de Gaussiana, Modelo de Markov Oculto, etc.). Por que EM é importante? O EM é apenas uma maneira de otimizar e não é amplamente usado como método baseado em gradiente (gradiente decente ou método …

15 machine-learning  optimization  expectation-maximization  gaussian-mixture 

A Descida de gradiente padrão calcularia o gradiente para todo o conjunto de dados de treinamento. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Para um número predefinido de épocas, primeiro calculamos o vetor de gradiente weights_grad da função de perda para …

15 machine-learning  optimization  gradient-descent  computational-statistics  sgd 

Eu experimentei um pouco com diferentes implementações do Perceptron e quero ter certeza de que entendi as "iterações" corretamente. Regra original do perceptron de Rosenblatt Tanto quanto eu entendo, no algoritmo clássico de Rosenblatt perceptron, os pesos são atualizados simultaneamente após cada exemplo de treinamento via Δw(t+1)=Δw(t)+η(target−actual)xiΔw(t+1)=Δw(t)+η(target−actual)xi\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + …

15 optimization  gradient-descent  perceptron 

Estou tentando entender como os parâmetros são estimados na modelagem ARIMA / Box Jenkins (BJ). Infelizmente, nenhum dos livros que encontrei descreve o procedimento de estimativa, como o procedimento de estimativa do Log-Likelihood em detalhes. Achei o site / material didático que foi muito útil. A seguir, é apresentada a …

15 time-series  forecasting  arima  optimization  box-jenkins 

Eu tenho lido muito sobre redes neurais convolutivas e queria saber como elas evitam o problema de gradiente que desaparece. Sei que redes de crenças profundas empilham codificadores automáticos de nível único ou outras redes rasas pré-treinadas e, portanto, podem evitar esse problema, mas não sei como é evitado nas …

15 machine-learning  optimization  deep-learning  gradient-descent 

Gostaria de combinar as saídas do lmer (realmente glmer) com um exemplo binomial de brinquedo. Eu li as vinhetas e acredito que entendo o que está acontecendo. Mas aparentemente eu não. Depois de ficar preso, consertei a "verdade" em termos dos efeitos aleatórios e fui atrás da estimativa dos efeitos …

15 r  mixed-model  optimization  lme4-nlme 

Como um acompanhamento de Minha rede neural não consegue nem aprender a distância euclidiana , simplifiquei ainda mais e tentei treinar uma única ReLU (com peso aleatório) em uma única ReLU. Essa é a rede mais simples que existe e, ainda assim, metade do tempo em que falha na convergência. …

15 machine-learning  neural-networks  optimization  keras 

Eu estava lendo sobre o otimizador de Adam para o Deep Learning e me deparei com a seguinte frase no novo livro Deep Learning de Begnio, Goodfellow e Courtville: Adam inclui correções de viés nas estimativas dos momentos de primeira ordem (o termo momentum) e dos momentos de segunda ordem …

15 machine-learning  neural-networks  optimization  conv-neural-network  adam 

Na configuração geral do algoritmo de descida em gradiente, temos que x n é o ponto atual, η é o tamanho da etapa e g r a d i e n t x n é o gradiente avaliado em x n . xn+1=xn−η∗gradientxnxn+1=xn−η∗gradientxnx_{n+1} = x_{n} - \eta * gradient_{x_n}xnxnx_nηη\etagradientxngradientxngradient_{x_n}xnxnx_n Eu …

15 algorithms  optimization 

A literatura de aprendizado profundo está cheia de truques inteligentes com o uso de taxas de aprendizado não constantes na descida do gradiente. Coisas como decaimento exponencial, RMSprop, Adagrad etc. são fáceis de implementar e estão disponíveis em todos os pacotes de aprendizado profundo, mas parecem inexistentes fora das redes …

14 machine-learning  deep-learning  optimization  gradient-descent 

Esta questão lida com a estimativa de máxima verossimilhança restrita (REML) em uma versão específica do modelo linear, a saber: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), onde X(α)X(α)X(\alpha) é uma matriz ( ) parametrizada por , como . é um vetor desconhecido de parâmetros incômodos; o …

14 mixed-model  maximum-likelihood  linear-model  optimization  reml