Perguntas com a marcação «regularization»

Aqui está algo que eu li no livro de Ian Goodfellow, Deep Learning . No contexto de redes neurais ", a penalidade da norma de parâmetro L2 é comumente conhecida como decaimento de peso. Essa estratégia de regularização aproxima os pesos da origem [...]. Em geral, podemos regularizar os parâmetros …

11 machine-learning  neural-networks  deep-learning  regularization 

Ao escolher o parâmetro de regularização lambda em Ridge ou Lasso, o método recomendado é tentar diferentes valores de lambda, medir o erro no conjunto de validação e finalmente escolher o valor de lambda que retorna o erro mais baixo. Não é óbvio para mim se a função f (lambda) …

11 cross-validation  error  regularization  validation  optimization 

Eu já tenho uma idéia sobre prós e contras da regressão de cume e do LASSO. Para o LASSO, o termo de penalidade de L1 produzirá um vetor de coeficiente esparso, que pode ser visto como um método de seleção de recurso. No entanto, existem algumas limitações para o LASSO. …

11 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Enquanto isso, estou estudando o LASSO ( operador menos absoluto de encolhimento e seleção). Vejo que o valor ideal para o parâmetro de regularização pode ser escolhido por validação cruzada. Vejo também na regressão de cume e em muitos métodos que aplicam a regularização, podemos usar o CV para encontrar …

11 lasso  regularization  shrinkage 

Por técnicas de regularização, estou me referindo a laço, regressão de crista, rede elástica e similares. Considere um modelo preditivo de dados de assistência médica que contenha dados demográficos e de diagnóstico em que está sendo previsto o tempo de internação. Para alguns indivíduos, há várias observações de LOS (ou …

11 multiple-regression  random-effects-model  regularization 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado no ano passado . Quais implementações de código aberto - em qualquer idioma - existem por aí que podem …

11 regression  lasso  regularization 

Meu entendimento da regressão do LASSO é que os coeficientes de regressão são selecionados para resolver o problema de minimização: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t Na prática, isso é feito usando um multiplicador de Lagrange, tornando o problema para resolver minβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1\min_\beta \|y - …

10 optimization  lasso  regularization  lagrange-multipliers 

Em várias respostas, vi usuários CrossValidated sugerirem que o OP encontre artigos iniciais sobre Lasso, Ridge e Elastic Net. Para a posteridade, quais são as obras seminais sobre Lasso, Ridge e Elastic Net?

10 references  lasso  regularization  ridge-regression  elastic-net 

Se eu tiver uma matriz de design , em que é o número de observações da dimensão , qual é a complexidade da solução para com LASSO, wrt e ? Acho que a resposta deve se referir a como uma iteração do LASSO é escalonada com esses parâmetros, e não …

10 optimization  lasso  regularization  time-complexity 

Estive recentemente em algumas conversas sobre estatísticas sobre o Lasso (regularização) e um ponto que continua surgindo é que não entendemos realmente por que o Lasso funciona ou por que funciona tão bem. Gostaria de saber a que esta declaração se refere. Obviamente, eu entendo por que o Lasso funciona …

10 machine-learning  lasso  regularization 

Como o título indica, estou tentando replicar os resultados do glmnet linear usando o otimizador LBFGS da biblioteca lbfgs. Esse otimizador nos permite adicionar um termo regularizador L1 sem ter que nos preocupar com diferenciabilidade, desde que nossa função objetivo (sem o termo regularizador L1) seja convexa. O problema da …

10 r  regression  regularization  glmnet  elastic-net 

É bem sabido (por exemplo, no campo do sensoriamento compressivo) que a norma é "indutora de dispersão", no sentido de que se minimizarmos o funcional (para matriz fixa A e vetor → b ) f A , → b ( → x ) = ‖ A → x - → …

10 regression  matrix  normalization  regularization  sparse 

Existem muitos métodos para executar a regularização - regularização baseada na norma , L 1 e L 2, por exemplo. De acordo com Friedman Hastie e Tibsharani , o melhor regularizador depende do problema: a natureza da verdadeira função do alvo, a base específica usada, a relação sinal / ruído …

10 r  regression  machine-learning  regularization 

Uso RNN bidirecional para detectar um evento de ocorrência desequilibrada. A classe positiva é 100 vezes menos que a classe negativa. Embora nenhum uso de regularização eu possa obter 100% de precisão no conjunto de trens e 30% no conjunto de validação. Ativei a regularização de l2 e o resultado …

10 neural-networks  deep-learning  regularization  rnn 

Como executar regressão não negativa da crista? Laço não negativo está disponível em scikit-learn, mas para cume, não posso impor a não-negatividade de betas e, de fato, estou obtendo coeficientes negativos. Alguém sabe por que isso é? Além disso, posso implementar cume em termos de mínimos quadrados regulares? Movi isso …

10 regression  lasso  regularization  ridge-regression