Perguntas com a marcação «optimization»

Estou tentando entender qual é a diferença entre o recozimento simulado e a execução de vários algoritmos gananciosos de escalada. Pelo meu entendimento, o algoritmo ganancioso aumentará a pontuação para um máximo local, mas se começarmos com várias configurações aleatórias e aplicá-lo a todas elas, teremos vários máximos locais. Então …

8 machine-learning  optimization  algorithms 

Eu sou bastante novo em aprendizado de máquina e estatística, mas estava me perguntando por que a otimização bayesiana não é referida com mais frequência on-line quando se aprende que o aprendizado de máquina otimiza seus hiperparâmetros de algoritmo? Por exemplo, usando uma estrutura como esta: https://github.com/fmfn/BayesianOptimization A otimização bayesiana …

8 machine-learning  optimization  hyperparameter  bayesian-optimization 

Em geral, se tivermos um grande conjunto de dados, podemos dividi-lo em (1) treinamento, (2) validação e (3) teste. Usamos a validação para identificar os melhores hiperparâmetros na validação cruzada (por exemplo, C no SVM) e, em seguida, treinamos o modelo usando os melhores hiperparâmetros com o conjunto de treinamento …

8 machine-learning  cross-validation  scikit-learn  hyperparameter  optimization 

Eu li os ótimos comentários sobre como lidar com valores ausentes antes de aplicar o SVD, mas gostaria de saber como ele funciona com um exemplo simples: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Dada a matriz …

8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning 

Ambos os processos parecem ser usados ​​para estimar o valor máximo de uma função desconhecida, e ambos obviamente têm maneiras diferentes de fazer isso. Mas, na prática, um dos métodos é essencialmente intercambiável? Onde eu gostaria de usar um sobre o outro? https://en.wikipedia.org/wiki/Simulated_annealing http://www.iro.umontreal.ca/~bengioy/cifar/NCAP2014-summerschool/slides/Ryan_adams_140814_bayesopt_ncap.pdf Pergunta semelhante Otimização bayesiana ou descida …

8 optimization  maximum  bayesian-optimization 

Estou testando a otimização bayesiana, seguindo Snoek, Larochelle e Adams [ http://arxiv.org/pdf/1206.2944.pdf] , usando GPML [ http://www.gaussianprocess.org/gpml/code/matlab / doc /] . Eu implementei a função de aquisição de melhoria esperada descrita na página 3, e estou assumindo que estou certo de que para decidir onde próxima consulta meu objetivo devo …

8 gaussian-process  optimization  bayesian-optimization 

Estou executando algumas otimizações com a implementação do BFGS do optim. A função objetivo é na verdade um algoritmo computacional, não apenas matemática. Descobri que quando adiciono uma penalidade de L1, as coisas diminuem um pouco. Por que isso pode ser? Existe algo no L1 que atrasa as coisas? Então, …

8 r  optimization  lasso 

Eu estou tentando entender como funciona regularização em termos de projeções em um l∗l∗l_* bola, e projeção euclidiana para o simplex. Não sei ao certo o que queremos dizer quando projetamos o vetor de peso nas bolas ou .l 2l1l1l_1l2l2l_2 Eu posso entender o conceito de programa de regularização de …

8 optimization  regularization  projection 

Eu entendo onde a etapa E acontece no algoritmo (conforme explicado na seção de matemática abaixo). Na minha opinião, a principal engenhosidade do algoritmo é o uso da desigualdade de Jensen para criar um limite inferior à probabilidade do log. Nesse sentido, aceitar isso Expectationé simplesmente feito para reformular a …

8 maximum-likelihood  optimization  expectation-maximization  latent-variable  kullback-leibler 

Existem muitas regras para selecionar uma largura ideal de compartimento em um histograma 1D (veja, por exemplo ) Estou procurando uma regra que aplique a seleção das larguras ideais de barras iguais em histogramas bidimensionais . Existe essa regra? Talvez uma das regras conhecidas dos histogramas 1D possa ser facilmente …

8 optimization  histogram 

Acabei de começar a usar o pacote de autoencoder em R. As entradas para a autoencode()função incluem lambda, beta, rho e epsilon. Quais são os limites para esses valores? Eles variam para cada função de ativação? Esses parâmetros são chamados de "hiperparâmetros"? Supondo que um autoencoder esparso, rho = 0,01 …

8 neural-networks  optimization  deep-learning  deep-belief-networks  autoencoders 

Venho brincando com a regressão logística com vários algoritmos de otimização de lote (gradiente conjugado, newton-raphson e vários métodos de quasinewton). Uma coisa que notei é que, às vezes, adicionar mais dados a um modelo pode tornar o treinamento do modelo muito menos demorado. Cada iteração requer a observação de …

8 logistic  references  optimization 

Meu projeto atual pode exigir que eu construa um modelo para prever o comportamento de um determinado grupo de pessoas. o conjunto de dados de treinamento contém apenas 6 variáveis ​​(id é apenas para fins de identificação): id, age, income, gender, job category, monthly spend em que monthly spendé a …

8 modeling  large-data  overfitting  clustering  algorithms  error  spatial  r  regression  predictive-models  linear-model  average  measurement-error  weighted-mean  error-propagation  python  standard-error  weighted-regression  hypothesis-testing  time-series  machine-learning  self-study  arima  regression  correlation  anova  statistical-significance  excel  r  regression  distributions  statistical-significance  contingency-tables  regression  optimization  measurement-error  loss-functions  image-processing  java  panel-data  probability  conditional-probability  r  lme4-nlme  model-comparison  time-series  probability  probability  conditional-probability  logistic  multiple-regression  model-selection  r  regression  model-based-clustering  svm  feature-selection  feature-construction  time-series  forecasting  stationarity  r  distributions  bootstrap  r  distributions  estimation  maximum-likelihood  garch  references  probability  conditional-probability  regression  logistic  regression-coefficients  model-comparison  confidence-interval  r  regression  r  generalized-linear-model  outliers  robust  regression  classification  categorical-data  r  association-rules  machine-learning  distributions  posterior  likelihood  r  hypothesis-testing  normality-assumption  missing-data  convergence  expectation-maximization  regression  self-study  categorical-data  regression  simulation  regression  self-study  self-study  gamma-distribution  modeling  microarray  synthetic-data 

http://cran.r-project.org/web/packages/quadprog/quadprog.pdf O pacote R quadprogparece ser capaz de resolver o problema de programação quadrática somente quando a matriz é definida positivamente.DDD No entanto, há um caso em que a matriz não é positiva definida. tal comoDDD min(x2+y2−6xy)subject tox+y3x+yx,y≤≤≥1,1.5,0.min(x2+y2−6xy)subject tox+y≤1,3x+y≤1.5,x,y≥0.\begin{eqnarray} \min(x^2 + y^2 - 6xy) \\ \text{subject to}\quad\quad x + y …

8 r  optimization 

Estou tentando declarar uma distribuição anterior para uma meta-análise bayesiana. Eu tenho as seguintes informações sobre uma variável aleatória: Duas observações: 3.0, 3.6 um cientista que estuda a variável me disse que , e que valores tão altos quanto 6 têm probabilidade diferente de zero.P(X&lt;2)=P(X&gt;8)=0P(X&lt;2)=P(X&gt;8)=0P(X<2)=P(X>8)=0 Eu usei a seguinte abordagem …

8 r  distributions  probability  bayesian  optimization