Perguntas com a marcação «optimization»

De qualquer algoritmo de amostragem genérico, pode-se derivar um algoritmo de otimização. De fato, para maximizar uma função arbitrária , basta extrair amostras de . Para pequeno o suficiente, essas amostras ficarão próximas do máximo global (ou máximo local na prática) da função .f: x → f( X )f:x→f(x)f: \textbf{x} …

18 sampling  optimization 

Estou tentando minimizar uma função personalizada. Ele deve aceitar cinco parâmetros e o conjunto de dados e fazer todos os tipos de cálculos, produzindo um único número como saída. Quero encontrar uma combinação de cinco parâmetros de entrada que produzam a menor saída da minha função.

18 r  optimization 

Muitos tutoriais online falam sobre descida de gradiente e quase todos usam um tamanho de etapa fixo (taxa de aprendizado ). Por que não há uso de pesquisa de linha (como pesquisa de linha de retorno ou pesquisa de linha exata)?αα\alpha

18 machine-learning  neural-networks  optimization  deep-learning 

Eu já vi conclusões semelhantes em muitas discussões, de que à medida que o tamanho de minibatch aumenta, a convergência do SGD fica realmente mais difícil / pior, por exemplo, este artigo e esta resposta . Também ouvi falar de pessoas que usam truques como pequenas taxas de aprendizado ou …

18 machine-learning  neural-networks  optimization  gradient-descent  sgd 

Por que o método de Newton para otimização da regressão logística é chamado de mínimos quadrados re-ponderados iterativos? Não me parece claro porque a perda logística e a perda de mínimos quadrados são coisas completamente diferentes.

18 logistic  generalized-linear-model  optimization  irls  fisher-scoring 

Definimos uma época como tendo passado por todas as amostras de treinamento disponíveis, e o tamanho do minilote como o número de amostras sobre as quais calculamos a média para encontrar as atualizações de pesos / desvios necessários para descer o gradiente. Minha pergunta é se devemos extrair sem substituição …

18 machine-learning  neural-networks  optimization  deep-learning 

Estou apenas aprendendo sobre otimização e tendo problemas para entender a diferença entre otimização convexa e não convexa. Pelo meu entendimento, uma função convexa é aquela em que "o segmento de linha entre dois pontos no gráfico da função está acima ou no gráfico". Nesse caso, um algoritmo de descida …

18 optimization 

Acho que essa é uma pergunta básica e tem a ver com a direção do próprio gradiente, mas estou procurando exemplos em que os métodos de 2ª ordem (por exemplo, BFGS ) são mais eficazes do que a simples descida do gradiente.

18 optimization 

Pode-se executar uma regressão logit em R usando esse código: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Parece que o algoritmo de otimização convergiu - há informações sobre o número das etapas do algoritmo de pontuação do …

17 r  generalized-linear-model  optimization  algorithms  logit 

Eu encontrei esta implementação em Python do algoritmo Jenks Natural Breaks e poderia fazê-lo rodar na minha máquina Windows 7. É bem rápido e encontra as quebras em pouco tempo, considerando o tamanho dos meus dados geográficos. Antes de usar esse algoritmo de clustering para meus dados, eu estava usando …

17 python  clustering  optimization 

Estou tentando usar a perda ao quadrado para fazer a classificação binária em um conjunto de dados de brinquedo. Estou usando o mtcarsconjunto de dados, use milhas por galão e peso para prever o tipo de transmissão. O gráfico abaixo mostra os dois tipos de dados do tipo de transmissão …

16 r  machine-learning  logistic  optimization  loss-functions 

Eu tento reproduzir com optimos resultados de uma regressão linear simples ajustada com glmou até nlsfunções R. As estimativas de parâmetros são as mesmas, mas a estimativa de variação residual e os erros padrão dos outros parâmetros não são os mesmos, principalmente quando o tamanho da amostra é baixo. Suponho …

16 r  maximum-likelihood  optimization 

Estou usando a glmerfunção do lme4pacote em R e usando o bobyqaotimizador (ou seja, o padrão no meu caso). Estou recebendo um aviso e estou curioso para saber o que isso significa. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from bobyqa: bobyqa -- …

16 r  optimization  lme4-nlme  convergence  glmm 

Eu tenho tentado codificar um algoritmo para sugerir apostas em jogos 1X2 (ponderados). Basicamente, cada jogo tem um conjunto de partidas (times em casa x fora): 1: vitórias em casa X: desenhar 2: vitórias fora Para cada correspondência e símbolo ( 1, Xe 2), atribuirei uma porcentagem que represente as …

16 optimization 

Estou curioso para saber por que tratamos o GLMS adequado como se eles fossem algum problema especial de otimização. São eles? Parece-me que eles são apenas probabilidade máxima, e que anotamos a probabilidade e então ... nós a maximizamos! Então, por que usamos a pontuação de Fisher em vez de …

16 generalized-linear-model  optimization  fisher-scoring