Estatísticas e Big Data hyperparameter

1

Escolhendo um tamanho de minibatch apropriado para descida do gradiente estocástico (SGD)

Existe alguma literatura que examine a escolha do tamanho de minibatch ao realizar a descida do gradiente estocástico? Na minha experiência, parece ser uma escolha empírica, geralmente encontrada por meio de validação cruzada ou usando regras práticas variadas. É uma boa ideia aumentar lentamente o tamanho do minibatch à medida …

13 machine-learning gradient-descent hyperparameter deep-learning

1

Densidade hiperprior para o modelo hierárquico de Gamma-Poisson

Em um modelo hierárquico de dados , onde y ~ de Poisson ( λ ) λ ~ Gama ( α , β ) parece ser típico em prática a escolher os valores ( ct , β ) de tal modo que a média e variância de distribuição gama corresponder aproximadamente …

11 poisson-distribution gamma-distribution hierarchical-bayesian hyperparameter

4

Por que não aprendemos apenas os hiper parâmetros?

Eu estava implementando um artigo bastante popular " EXPLICANDO E APRENDENDO EXEMPLOS ADVERSÁRIOS " e, no artigo, ele treina uma função objetiva adversária J '' (θ) = αJ (θ) + (1 - α) J '(θ). Ele trata α como um hiperparâmetro. α pode ser 0,1, 0,2, 0,3, etc. Independentemente deste …

11 machine-learning neural-networks deep-learning hyperparameter

1

Relação entre taxa de aprendizado e número de camadas ocultas?

Existe alguma regra prática entre a profundidade de uma rede neural e a taxa de aprendizado? Tenho notado que quanto mais profunda a rede, menor a taxa de aprendizado. Se isso está correto, por que isso?

10 neural-networks deep-learning hyperparameter rule-of-thumb

2

Validação cruzada aninhada - como é diferente da seleção de modelo via kfold CV no conjunto de treinamento?

Costumo ver pessoas falando sobre validação cruzada 5x2 como um caso especial de validação cruzada aninhada . Suponho que o primeiro número (aqui: 5) se refira ao número de dobras no loop interno e o segundo número (aqui: 2) se refira ao número de dobras no loop externo? Então, como …

10 machine-learning cross-validation hyperparameter

1

Na regressão linear, por que a regularização também penaliza os valores dos parâmetros?

Atualmente aprendendo regressão de cordilheira e fiquei um pouco confuso sobre a penalização de modelos mais complexos (ou a definição de um modelo mais complexo). Pelo que entendi, a complexidade do modelo não se correlaciona necessariamente com a ordem polinomial. Portanto: 2+3+4x2+5x3+6x42+3+4x2+5x3+6x4 2 + 3+ 4x^2 + 5x^3 + 6x^4 …

9 regression regularization hyperparameter

1

Por que as informações sobre os dados de validação vazaram se eu avalio o desempenho do modelo nos dados de validação ao ajustar os hiperparâmetros?

No Deep Learning de François Chollet com Python, ele diz: Como resultado, o ajuste da configuração do modelo com base em seu desempenho no conjunto de validação pode resultar rapidamente na adaptação excessiva ao conjunto de validação, mesmo que seu modelo nunca seja treinado diretamente sobre ele. Central para esse …

9 neural-networks cross-validation hyperparameter

1

Quais são algumas das desvantagens da otimização de hiper parâmetros bayesianos?

Eu sou bastante novo em aprendizado de máquina e estatística, mas estava me perguntando por que a otimização bayesiana não é referida com mais frequência on-line quando se aprende que o aprendizado de máquina otimiza seus hiperparâmetros de algoritmo? Por exemplo, usando uma estrutura como esta: https://github.com/fmfn/BayesianOptimization A otimização bayesiana …

8 machine-learning optimization hyperparameter bayesian-optimization

1

Como obter hiperparâmetros ótimos após validação cruzada aninhada?

Em geral, se tivermos um grande conjunto de dados, podemos dividi-lo em (1) treinamento, (2) validação e (3) teste. Usamos a validação para identificar os melhores hiperparâmetros na validação cruzada (por exemplo, C no SVM) e, em seguida, treinamos o modelo usando os melhores hiperparâmetros com o conjunto de treinamento …

8 machine-learning cross-validation scikit-learn hyperparameter optimization

1

Seleção de hiperparâmetros totalmente bayesiana na GPML

É possível realizar uma seleção aproximada de bayesianos (1) de hiperparâmetros (por exemplo, escala de covariância) com o código GPML, em vez de maximizar a probabilidade marginal (2)? Eu acho que o uso de métodos MCMC para resolver as integrais que envolvem hiperparâmetros anteriores deve levar a melhores resultados ao …

8 bayesian model-selection gaussian-process hyperparameter

2

Compreendendo a parada precoce em redes neurais e suas implicações ao usar a validação cruzada

Estou um pouco preocupado e confuso com a ideia de como a técnica de parada precoce é definida. Se você der uma olhada na Wikipedia , ela será definida da seguinte forma: Divida os dados de treinamento em um conjunto de treinamento e um conjunto de validação, por exemplo, na …

8 machine-learning neural-networks cross-validation hyperparameter

3

Explicação passo a passo da validação cruzada com dobras K com pesquisa em grade para otimizar hiperparâmetros

Estou ciente das vantagens da validação cruzada k-fold (e deixe-o-fora), bem como das vantagens de dividir seu conjunto de treinamento para criar um terceiro conjunto de 'validação', que você usa para avaliar modele o desempenho com base nas opções de hiperparâmetros, para que você possa otimizar e ajustá-los e escolher …

7 machine-learning cross-validation hyperparameter optimization

Perguntas com a marcação «hyperparameter»