Perguntas com a marcação «regularization»

Se a remoção de alguns neurônios resulta em um modelo com melhor desempenho, por que não usar uma rede neural mais simples com menos camadas e menos neurônios? Por que construir um modelo maior e mais complicado no começo e suprimir partes dele mais tarde?

13 machine-learning  deep-learning  keras  regularization  dropout 

Conduzindo um modelo de regressão linear usando uma função de perda, por que devo usar vez da regularização ?eu1 1eu1 1L_1eu2eu2L_2 É melhor prevenir o sobreajuste? É determinístico (sempre uma solução única)? É melhor na seleção de recursos (porque produz modelos escassos)? Dispersa os pesos entre os recursos?

10 linear-regression  regularization 

Eu tenho dois tensores a:[batch_size, dim] b:[batch_size, dim]. Quero fazer um produto interno para cada par do lote, gerando c:[batch_size, 1], onde c[i,0]=a[i,:].T*b[i,:]. Quão?

10 tensorflow  scikit-learn  svm  cross-validation  feature-selection  bayesian  machine-learning  decision-trees  parameter-estimation  neural-network  convnet  neural-network  regularization  visualization  machine-learning  similarity  python  pandas  indexing  r  data-cleaning  machine-learning  predictive-modeling  data-cleaning  recommender-system  python  sequential-pattern-mining  software-recommendation  r  visualization  gaussian  distribution  machine-learning  data-mining  bigdata  apache-hadoop  predictive-modeling  logistic-regression  sampling  machine-learning  regression  feature-selection  mongodb  neural-network  inception  machine-learning  classification  dataset  databases  logistic-regression  deep-learning  backpropagation  classification  data-mining  multilabel-classification  text-mining  data-cleaning  unsupervised-learning  anomaly-detection  python  r  python  pandas 

Ao treinar redes neurais, há pelo menos quatro maneiras de regularizar a rede: Regularização L1 Regularização L2 Cair fora Normalização de lote além disso, é claro, outras coisas, como compartilhamento de peso e redução do número de conexões, que podem não ser regularização no sentido mais estrito. Mas como escolher …

9 neural-network  regularization 

Existem trabalhos publicados que mostram diferenças nos métodos de regularização de redes neurais, preferencialmente em domínios diferentes (ou pelo menos diferentes conjuntos de dados)? Estou perguntando, porque atualmente tenho a sensação de que a maioria das pessoas parece usar apenas o abandono para regularizar a visão computacional. Gostaria de verificar …

9 neural-network  computer-vision  convnet  regularization  dropout