Perguntas com a marcação «hyperparameter»

Estou começando a se envolver com o uso de glmnetcom LASSO Regressão onde meu desfecho de interesse é dicotômica. Criei um pequeno quadro de dados simulado abaixo: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p …

78 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

Atualmente, estou pesquisando a Pesquisa aleatória de otimização de hiper-parâmetros de Bengio e Bergsta [1], onde os autores afirmam que a pesquisa aleatória é mais eficiente do que a pesquisa em grade para obter desempenho aproximadamente igual. Minha pergunta é: as pessoas aqui concordam com essa afirmação? No meu trabalho, …

41 machine-learning  hyperparameter  optimization 

Estou procurando um artigo que possa ajudar a fornecer diretrizes sobre como escolher os hiperparâmetros de uma arquitetura profunda, como auto-codificadores empilhados ou redes de crenças profundas. Existem muitos hiperparâmetros e estou muito confuso sobre como escolhê-los. O uso da validação cruzada também não é uma opção, pois o treinamento …

38 machine-learning  deep-learning  deep-belief-networks  hyperparameter 

Eu estava lendo sobre o otimizador de Adam para o Deep Learning e me deparei com a seguinte frase no novo livro Deep Learning de Bengio, Goodfellow e Courville: Adam é geralmente considerado como sendo bastante robusto para a escolha de hiper parâmetros, embora a taxa de aprendizado às vezes …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

Alguém pode explicar qual é a interpretação natural para os hiperparâmetros LDA? ALPHAe BETAsão parâmetros de distribuições Dirichlet para distribuições de tópicos (por documento) e (por tópico) palavras, respectivamente. No entanto, alguém pode explicar o que significa escolher valores maiores desses hiperparâmetros versus valores menores? Isso significa colocar alguma crença …

21 interpretation  prior  topic-models  hyperparameter 

Sei que executar o ajuste de hiperparâmetros fora da validação cruzada pode levar a estimativas enviesadas de validade externa, porque o conjunto de dados que você usa para medir o desempenho é o mesmo usado para ajustar os recursos. O que eu quero saber é o quão ruim é esse …

20 cross-validation  validation  hyperparameter 

Portanto, em uma distribuição normal, temos dois parâmetros: média e variância . No livro Reconhecimento de Padrões e Aprendizado de Máquina , aparece subitamente um hiperparâmetro nos termos de regularização da função de erro.μμ\muσ2σ2\sigma^2λλ\lambda O que são hiperparâmetros? Por que eles são nomeados como tal? E como eles são intuitivamente …

19 terminology  definition  parameterization  hyperparameter 

Eu tenho um conjunto de dados de 140000 exemplos e 30 recursos para os quais estou treinando vários classificadores para uma classificação binária (SVM, Regressão Logística, Floresta Aleatória etc.) Em muitos casos, o ajuste de hiperparâmetros em todo o conjunto de dados usando a pesquisa em grade ou aleatória é …

19 machine-learning  cross-validation  hyperparameter 

Existem pesquisas contemporâneas substanciais sobre otimização bayesiana (1) para ajustar os hiperparâmetros de ML. A motivação motriz aqui é que é necessário um número mínimo de pontos de dados para fazer escolhas informadas sobre quais pontos vale a pena tentar (chamadas de função objetivas são caras, portanto, menos é melhor) …

18 hyperparameter  bayesian-optimization  optunity 

Em primeiro lugar, desculpas por postar uma pergunta que já foi discutida extensivamente aqui , aqui , aqui , aqui , aquie para reaquecer um tópico antigo. Eu sei que o @DikranMarsupial já escreveu sobre esse tópico em posts e artigos de periódicos, mas ainda estou confuso e, a julgar …

17 machine-learning  cross-validation  model-selection  glmnet  hyperparameter 

Li as seguintes postagens para validação cruzada aninhada e ainda não tenho 100% de certeza do que devo fazer com a seleção de modelo com validação cruzada aninhada: Validação cruzada aninhada para seleção de modelo Seleção de modelos e validação cruzada: o caminho certo Para explicar minha confusão, deixe-me tentar …

16 cross-validation  scikit-learn  hyperparameter 

Meu objetivo é classificar os sinais dos sensores. O conceito da minha solução até agora é: i) Recursos de engenharia a partir do sinal bruto ii) Seleção de recursos relevantes com o ReliefF e uma abordagem de clustering iii) Aplicação de NN, floresta aleatória e SVM No entanto, estou preso …

14 feature-selection  hyperparameter  optimization 

As classes previstas da regressão logística (binária) são determinadas usando um limite nas probabilidades de associação à classe geradas pelo modelo. Pelo que entendi, normalmente 0,5 é usado por padrão. Mas variar o limite alterará as classificações previstas. Isso significa que o limiar é um hiperparâmetro? Se sim, por que …

13 machine-learning  logistic  scikit-learn  hyperparameter 

Portanto, sabemos que a pesquisa aleatória funciona melhor que a pesquisa em grade, mas uma abordagem mais recente é a otimização bayesiana (usando processos gaussianos). Procurei uma comparação entre os dois e não encontrei nada. Eu sei que no cs231n de Stanford eles mencionam apenas pesquisa aleatória, mas é possível …

13 bayesian  hyperparameter 

log(y|X,θ)=−12yTK−1yy−12log(det(K))−n2log(2π)log⁡(y|X,θ)=−12yTKy−1y−12log⁡(det(K))−n2log⁡(2π)\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2} \mathbf{y}^TK_y^{-1}\mathbf{y}-\frac{1}{2}\log(\det(K))-\frac{n}{2}\log(2\pi)KKKKij=k(xi,xj)=b−1exp(−12(xi−xj)TM(xi−xj))+a−1δijKij=k(xi,xj)=b−1exp⁡(−12(xi−xj)TM(xi−xj))+a−1δijK_{ij}=k(x_i,x_j)=b^{-1}\exp(-\frac{1}{2}(x_i-x_j)^TM(x_i-x_j))+a^{-1}\delta_{ij}M=lIM=lIM=lIa,ba,ba,blll a derivada parcial dos parâmetros wrt de probabilidade marginal de log é fornecida pelos seguinteslog(y|X,θ)dθ=12trace(K−1dKdθ)+12(ydKdθK−1dKdθy)log⁡(y|X,θ)dθ=12trace(K−1dKdθ)+12(ydKdθK−1dKdθy)\frac{\log(\mathbf{y}|X,\mathbf{\theta})}{d\theta}=\frac{1}{2}\mathrm{trace}(K^{-1}\frac{dK}{d\theta})+\frac{1}{2}(\mathbf{y}\frac{dK}{d\theta}K^{-1}\frac{dK}{d\theta}\mathbf{y}) Como as entradas de dependem dos parâmetros, assim como derivados e inversa de . Isso significa que, quando um otimizador baseado em gradiente é empregado, a avaliação do gradiente em um determinado ponto …

13 regression  optimization  gaussian-process  hyperparameter