Perguntas com a marcação «optimization»

Isso é algo que me incomoda há um tempo e eu não consegui encontrar respostas satisfatórias online, então aqui vai: Depois de revisar um conjunto de palestras sobre otimização convexa, o método de Newton parece ser um algoritmo muito superior ao da descida do gradiente para encontrar soluções globalmente ótimas, …

132 machine-learning  optimization  gradient-descent  hessian 

Suponha que tenhamos algum conjunto de treinamento para . Suponha também que executemos algum tipo de algoritmo de aprendizado supervisionado no conjunto de treinamento. As hipóteses são representadas como . Precisamos encontrar os parâmetros que minimizem a "distância" entre e . Seja(x(i),y(i))(x(i),y(i))(x_{(i)}, y_{(i)})i=1,…,mi=1,…,mi = 1, \dots, mhθ(x(i))=θ0+θ1x(i)1+⋯+θnx(i)nhθ(x(i))=θ0+θ1x(i)1+⋯+θnx(i)nh_{\theta}(x_{(i)}) = \theta_0+\theta_{1}x_{(i)1} + …

101 optimization  gradient-descent  sgd 

Muitos livros e tutoriais de redes neurais gastam muito tempo com o algoritmo de retropropagação, que é essencialmente uma ferramenta para calcular o gradiente. Vamos supor que estamos construindo um modelo com ~ 10K parâmetros / pesos. É possível executar a otimização usando alguns algoritmos de otimização sem gradiente? Eu …

94 machine-learning  neural-networks  optimization  backpropagation 

A função de ativação tanh é: tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Onde , a função sigmóide, é definida como: .σ(x)σ(x)\sigma(x) σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} Questões: Realmente importa entre usar essas duas funções de ativação (tanh vs. sigma)? Qual função é …

82 machine-learning  neural-networks  optimization  cost-maximization 

Na maioria das tarefas de aprendizado de máquina, nas quais é possível formular alguma probabilidade que deve ser maximizada, na verdade, otimizaríamos a probabilidade do log vez da probabilidade para alguns parâmetros . Por exemplo, no treinamento de probabilidade máxima, geralmente é a probabilidade de log. Ao fazer isso com …

66 probability  optimization  log-likelihood 

A descida de gradiente e muitos outros métodos são úteis para encontrar mínimos locais em funções de custo. Eles podem ser eficientes quando a função de custo pode ser avaliada rapidamente em cada ponto, seja numericamente ou analiticamente. Eu tenho o que me parece ser uma situação incomum. Cada avaliação …

59 gradient-descent  optimization  bayesian-optimization 

Eu li muito sobre o PCA, incluindo vários tutoriais e perguntas (como este , este , este e este ). O problema geométrico que o PCA está tentando otimizar é claro para mim: o PCA tenta encontrar o primeiro componente principal minimizando o erro de reconstrução (projeção), que maximiza simultaneamente …

54 pca  optimization  linear-algebra  intuition 

Portanto, a descida do gradiente com base no momento funciona da seguinte maneira: v = s e l f. m o m e n t u m ∗ m - l r ∗ gv=self.momentum∗m−lr∗gv=self.momentum*m-lr*g onde é a atualização de peso anterior e g é o gradiente atual em relação aos …

48 optimization  gradient-descent 

Em um post recente de Rong Ge, foi dito que: Acredita-se que, para muitos problemas, incluindo a aprendizagem de redes profundas, quase todos os mínimos locais tenham um valor de função muito semelhante ao ideal global e, portanto, encontrar um mínimo local é bom o suficiente. De onde vem essa …

46 machine-learning  neural-networks  optimization  deep-learning 

Eu estou familiarizado com algoritmos básicos de descida de gradiente para o treinamento de redes neurais. Eu li o artigo propondo Adam: ADAM: UM MÉTODO PARA OTIMIZAÇÃO ESTOCÁSTICA . Embora eu tenha definitivamente algumas idéias (pelo menos), o artigo parece estar em um nível muito alto para mim em geral. …

45 neural-networks  optimization  gradient-descent  adam 

Momentum é usado para diminuir as flutuações nas alterações de peso em iterações consecutivas:αα\alpha E(w)wηΔ ωEu( t + 1 ) = - η∂E∂WEu+ α Δ ωEu( T ) ,ΔωEu(t+1)=-η∂E∂WEu+αΔωEu(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t), que é a função de erro, - o vetor de pesos, - …

41 neural-networks  optimization  regularization  gradient-descent 

Atualmente, estou pesquisando a Pesquisa aleatória de otimização de hiper-parâmetros de Bengio e Bergsta [1], onde os autores afirmam que a pesquisa aleatória é mais eficiente do que a pesquisa em grade para obter desempenho aproximadamente igual. Minha pergunta é: as pessoas aqui concordam com essa afirmação? No meu trabalho, …

41 machine-learning  hyperparameter  optimization 

Alguém pode me dar alguma intuição sobre quando escolher SVM ou LR? Quero entender a intuição por trás da diferença entre os critérios de otimização de aprender o hiperplano dos dois, onde os respectivos objetivos são os seguintes: SVM: tente maximizar a margem entre os vetores de suporte mais próximos …

37 regression  logistic  svm  optimization 

Numericamente derivar a MLE s de GLMM é difícil e, na prática, eu sei, não devemos usar a otimização de força bruta (por exemplo, usando optimem uma maneira simples). Mas, para meu próprio objetivo educacional, quero experimentá-lo para garantir a compreensão correta do modelo (veja o código abaixo). Descobri que …

37 r  maximum-likelihood  optimization  lme4-nlme 

Essa questão pode ser muito aberta para obter uma resposta definitiva, mas espero que não. Algoritmos de aprendizado de máquina, como SVM, GBM, Random Forest etc., geralmente possuem alguns parâmetros livres que, além de algumas orientações básicas, precisam ser ajustados para cada conjunto de dados. Isso geralmente é feito com …

34 machine-learning  cross-validation  bootstrap  optimization  resampling