Perguntas com a marcação «bayesian-optimization»

A descida de gradiente e muitos outros métodos são úteis para encontrar mínimos locais em funções de custo. Eles podem ser eficientes quando a função de custo pode ser avaliada rapidamente em cada ponto, seja numericamente ou analiticamente. Eu tenho o que me parece ser uma situação incomum. Cada avaliação …

59 gradient-descent  optimization  bayesian-optimization 

Existem pesquisas contemporâneas substanciais sobre otimização bayesiana (1) para ajustar os hiperparâmetros de ML. A motivação motriz aqui é que é necessário um número mínimo de pontos de dados para fazer escolhas informadas sobre quais pontos vale a pena tentar (chamadas de função objetivas são caras, portanto, menos é melhor) …

18 hyperparameter  bayesian-optimization  optunity 

Antecedentes e problema Estou usando Processos Gaussianos (GP) para regressão e subsequente otimização bayesiana (BO). Para regressão, uso o pacote gpml do MATLAB com várias modificações personalizadas, mas o problema é geral. É um fato bem conhecido que, quando duas entradas de treinamento estão muito próximas no espaço de entrada, …

12 regression  covariance-matrix  gaussian-process  bayesian-optimization 

Uma função de caixa preta , que é avaliada pontualmente, sujeita a ruído gaussiano, ou seja, f ( x ) + N ( μ ( x ) , σ ( x ) 2 ) , pode ser minimizada usando a otimização bayesiana onde um gaussiano Processo é usado como um …

8 bayesian  optimization  bayesian-optimization 

Eu sou bastante novo em aprendizado de máquina e estatística, mas estava me perguntando por que a otimização bayesiana não é referida com mais frequência on-line quando se aprende que o aprendizado de máquina otimiza seus hiperparâmetros de algoritmo? Por exemplo, usando uma estrutura como esta: https://github.com/fmfn/BayesianOptimization A otimização bayesiana …

8 machine-learning  optimization  hyperparameter  bayesian-optimization 

Ambos os processos parecem ser usados ​​para estimar o valor máximo de uma função desconhecida, e ambos obviamente têm maneiras diferentes de fazer isso. Mas, na prática, um dos métodos é essencialmente intercambiável? Onde eu gostaria de usar um sobre o outro? https://en.wikipedia.org/wiki/Simulated_annealing http://www.iro.umontreal.ca/~bengioy/cifar/NCAP2014-summerschool/slides/Ryan_adams_140814_bayesopt_ncap.pdf Pergunta semelhante Otimização bayesiana ou descida …

8 optimization  maximum  bayesian-optimization 

Estou testando a otimização bayesiana, seguindo Snoek, Larochelle e Adams [ http://arxiv.org/pdf/1206.2944.pdf] , usando GPML [ http://www.gaussianprocess.org/gpml/code/matlab / doc /] . Eu implementei a função de aquisição de melhoria esperada descrita na página 3, e estou assumindo que estou certo de que para decidir onde próxima consulta meu objetivo devo …

8 gaussian-process  optimization  bayesian-optimization