Perguntas com a marcação «optimization»

Estou tentando entender a otimização da descida do gradiente nos algoritmos de ML (aprendizado de máquina). Entendo que existe uma função de custo - em que o objetivo é minimizar o erro . Em um cenário em que os pesos estão sendo otimizados para fornecer o erro mínimo e derivadas …

9 optimization  gradient-descent 

Então, eu estou tentando me ensinar redes neurais (para aplicações de regressão, não classificando imagens de gatos). Minhas primeiras experiências foram treinando uma rede para implementar um filtro FIR e uma Transformada Discreta de Fourier (treinamento em sinais "antes" e "depois"), pois essas são operações lineares que podem ser implementadas …

9 machine-learning  neural-networks  optimization  keras  euclidean 

Suponha que estejamos fazendo um exemplo de brinquedo decente em gradiente, minimizando uma função quadrática , usando tamanho de passo fixo . ( )α = 0,03 A = [ 10 , 2 ; 2 , 3 ]xTAxxTAxx^TAxα=0.03α=0.03\alpha=0.03A=[10,2;2,3]A=[10,2;2,3]A=[10, 2; 2, 3] Se traçarmos o traço de xxx em cada iteração, obteremos …

9 r  machine-learning  optimization  gradient-descent 

Estou treinando uma rede neural convolucional simples para regressão, onde a tarefa é prever a localização (x, y) de uma caixa em uma imagem, por exemplo: A saída da rede possui dois nós, um para x e um para y. O restante da rede é uma rede neural convolucional padrão. …

9 machine-learning  neural-networks  optimization  deep-learning  loss-functions 

Suponha que desejemos calcular alguma expectativa: EYEX| Y[ f( X, Y) ]EYEX|Y[f(X,Y)]E_YE_{X|Y}[f(X,Y)] Suponha que queremos aproximar isso usando a simulação de Monte Carlo. EYEX| Y[ f( X, Y) ] ≈ 1R S∑r = 1R∑s = 1Sf( xr , s, yr)EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r) Mas suponhamos que é caro para extrair amostras …

9 optimization  conditional-probability  simulation  expected-value  monte-carlo 

Eu estava pensando em resolver Lasso através de métodos de subgradiente de baunilha. Mas li pessoas sugerindo o uso da descida proximal do gradiente. Alguém pode destacar por que o GD proximal, em vez de os métodos do subgradiente de baunilha, são usados ​​no Lasso?

9 machine-learning  optimization  lasso  gradient-descent 

No meu livro econométrico (Econometria Introdutória), que trata do OLS, o autor escreve: "O SSR deve cair quando outra variável explicativa é adicionada". Por que é isso?

9 regression  optimization  econometrics  intuition  sums-of-squares 

Estou procurando um pacote para me ajudar a resolver alguns problemas de otimização quadrática e vejo que há pelo menos meia dúzia de pacotes diferentes. De acordo com esta página: QP (programação quadrática, 90C20): cplexAPI , kernlab , limSolve , LowRankQP , quadprog , Rcplex , Rmosek Alguns deles (Rmosek …

9 r  optimization 

Por padrão, quando usamos uma glmfunção em R, utiliza a mínimos quadrados iterativo reponderadas método (IWLS) para encontrar a estimativa da probabilidade máxima dos parâmetros. Agora eu tenho duas perguntas. As estimativas da IWLS garantem o máximo global da função de probabilidade? Com base no último slide desta apresentação, acho …

9 r  estimation  generalized-linear-model  maximum-likelihood  optimization 

Como posso estimar intervalos de confiança de 95% usando a criação de perfil para parâmetros estimados maximizando uma função de probabilidade de log usando optim em R? Eu sei que posso estimar assintoticamente a matriz de covariância invertendo o hessiano , mas estou preocupado que meus dados não atendam às …

9 r  confidence-interval  maximum-likelihood  optimization  profile-likelihood 

Essa é uma pergunta bastante geral (ou seja, não necessariamente específica para estatística), mas notei uma tendência no aprendizado de máquina e na literatura estatística em que os autores preferem seguir a seguinte abordagem: Abordagem 1 : Obter uma solução para um problema prático, formulando uma função de custo para …

9 optimization  function 

Estou procurando uma referência sólida (ou referências) sobre técnicas de otimização numérica destinadas a estatísticos, ou seja, aplicaria esses métodos a alguns problemas inferenciais padrão (por exemplo, MAP / MLE em modelos comuns). Coisas como descida de gradiente (reta e estocástica), EM e seus spinoffs / generalizações, recozimento simulado, etc. …

9 estimation  references  optimization 

Portanto, tenho 16 ensaios em que estou tentando autenticar uma pessoa de uma característica biométrica usando a Distância de Hamming. Meu limite está definido como 3,5. Meus dados estão abaixo e apenas o teste 1 é um verdadeiro positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Considere-se uma resposta y e matriz de dados X . Suponha que eu esteja criando um modelo do formulário - y ~ g (X, )θθ\theta (g () pode ser qualquer função de X e )θθ\theta Agora, para estimar usando o método de máxima verossimilhança (ML), eu poderia ir em frente …

9 estimation  maximum-likelihood  optimization 

Uma função de caixa preta , que é avaliada pontualmente, sujeita a ruído gaussiano, ou seja, f ( x ) + N ( μ ( x ) , σ ( x ) 2 ) , pode ser minimizada usando a otimização bayesiana onde um gaussiano Processo é usado como um …

8 bayesian  optimization  bayesian-optimization