Perguntas com a marcação «overfitting»

Crio um corr()df a partir de um df original. O corr()df saiu 70 X 70 e é impossível de visualizar o mapa de calor ... sns.heatmap(df). Se eu tentar exibir corr = df.corr(), a tabela não se encaixa na tela e posso ver todas as correlações. É uma maneira de …

16 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Eu tenho um modelo convolucional + LSTM em Keras, semelhante a este (ref 1), que estou usando para um concurso Kaggle. A arquitetura é mostrada abaixo. Eu o treinei no meu conjunto rotulado de 11000 amostras (duas classes, a prevalência inicial é de ~ 9: 1, então eu ampliei os …

12 keras  cross-validation  overfitting 

Espero que os trechos a seguir forneçam uma ideia do que será minha pergunta. Estes são de http://neuralnetworksanddeeplearning.com/chap3.html O aprendizado então diminui gradualmente. Finalmente, por volta da época 280, a precisão da classificação praticamente para de melhorar. Épocas posteriores apenas veem pequenas flutuações estocásticas próximas ao valor da precisão na …

12 neural-network  overfitting 

Acabei de concluir o curso de aprendizado de máquina para R em cognitiveclass.ai e comecei a experimentar com florestas aleatórias. Eu criei um modelo usando a biblioteca "randomForest" em R. O modelo é classificado por duas classes, boa e ruim. Sei que quando um modelo está super ajustado, ele tem …

11 r  random-forest  prediction  overfitting 

Eu tenho uma rede neural simples (NN) para a classificação MNIST. Inclui 2 camadas ocultas, cada uma com 500 neurônios. Portanto, as dimensões do NN são: 784-500-500-10. ReLU é usado em todos os neurônios, softmax é usado na saída e entropia cruzada é a função de perda. O que me …

8 machine-learning  neural-network  classification  overfitting 

ao fazer um curso on-line sobre aprendizado de máquina por Andrew Ng no coursera, deparei-me com um tópico chamado sobreajuste . Eu sei que isso pode ocorrer quando a descida do gradiente é usada na regressão logística ou linear, mas pode ocorrer quando são usados ​​algoritmos de Otimização Avançada, como …

8 machine-learning  regression  optimization  gradient-descent  overfitting 

Eu tenho uma Xmatriz, uma yvariável e outra variável ORTHO_VAR. Preciso prever a yvariável usando X, no entanto, as previsões desse modelo precisam ser ortogonais e, ao ORTHO_VARmesmo tempo, estar o mais correlacionadas ypossível. Eu preferiria que as previsões fossem geradas com um método não paramétrico como, por exemplo, xgboost.XGBRegressormas …

8 correlation  machine-learning  dataset  logistic-regression  prediction  linear-regression  prediction  dummy-variables  neural-network  image-classification  python  k-nn  python  neural-network  neural-network  deep-learning  keras  tensorflow  image-classification  tensorflow  reinforcement-learning  policy-gradients  machine-learning  decision-trees  neural-network  overfitting  data-analysis  metric  python  scikit-learn  distance  scipy  machine-learning  python  scikit-learn  decision-trees  logistic-regression  keras  image-classification  implementation  machine-learning  python  scikit-learn  random-forest  decision-trees  machine-learning  feature-selection  feature-engineering  word2vec  word-embeddings  natural-language-process  scikit-learn  time-series  clustering  k-means  python  cross-validation  pyspark  statistics  cross-validation  multiclass-classification  evaluation  machine-learning  nlp  machine-translation  neural-network  deep-learning  keras  tensorflow  image-classification  machine-learning  python  similarity  distance  lstm  text  named-entity-recognition  machine-learning  keras  optimization  gan  learning-rate  neural-network  data-mining  dataset  databases  books  neural-network  rnn 

Você consideraria isso um super ajuste?

7 overfitting 

Li nas várias respostas aqui e na Internet que a validação cruzada ajuda a indicar que, se o modelo for generalizado bem ou não, e sobre o ajuste excessivo. Mas estou confuso quanto a quais duas precisões / erros no teste / treinamento / validação devo comparar para poder ver …

7 machine-learning  cross-validation  accuracy  overfitting 

Recentemente, eu estava trabalhando em um projeto e achei minha taxa de erro de validação cruzada muito baixa, mas o teste definiu uma taxa de erro muito alta. Isso pode indicar que meu modelo está se ajustando demais. Por que minha validação cruzada não se superajustou enquanto meu conjunto de …

7 cross-validation  overfitting