Perguntas com a marcação «evaluation»

Estou tentando uma configuração de classificação multiclass com 3 classes. A distribuição de classes é distorcida, com a maioria dos dados caindo em uma das três classes. (os rótulos das classes são 1,2,3, com 67,28% dos dados que caem no rótulo da classe 1, 11,99% dos dados na classe 2 …

102 multiclass-classification  evaluation 

Eu costumava aplicar a validação cruzada K-fold para uma avaliação robusta dos meus modelos de aprendizado de máquina. Mas estou ciente da existência do método de inicialização para esse fim também. No entanto, não vejo a principal diferença entre eles em termos de estimativa de desempenho. Até onde eu vejo, …

21 cross-validation  evaluation 

Alguém pode me dar alguns exemplos em que a precisão é importante e alguns exemplos em que a lembrança é importante?

16 machine-learning  evaluation 

A página da Wikipedia que cita "Os elementos do aprendizado estatístico" diz: Normalmente, para um problema de classificação com os recursos , os recursos são usados ​​em cada divisão.ppp⌊ p-√⌋⌊p⌋\lfloor \sqrt{p}\rfloor Entendo que esse é um palpite bastante bom e provavelmente foi confirmado por evidências empíricas, mas existem outras razões …

13 statistics  random-forest  optimization  evaluation  sampling 

Tentei definir uma função métrica personalizada (F1-Score) em Keras (back-end do Tensorflow) de acordo com o seguinte: def f1_score(tags, predicted): tags = set(tags) predicted = set(predicted) tp = len(tags & predicted) fp = len(predicted) - tp fn = len(tags) - tp if tp>0: precision=float(tp)/(tp+fp) recall=float(tp)/(tp+fn) return 2*((precision*recall)/(precision+recall)) else: return 0 …

11 tensorflow  keras  evaluation 

Estou um pouco confuso com a coexistência de métricas de perda e precisão nas redes neurais. Ambos devem render a "exatidão" da comparação de e , não são? Portanto, a aplicação dos dois não é redundante nas épocas de treinamento? Além disso, por que eles não estão relacionados?yyyyy^y^\hat{y}

11 neural-network  evaluation 

Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 5 anos . Parece que a maioria das línguas tem algum número de …

10 efficiency  statistics  tools  knowledge-base  machine-learning  neural-network  deep-learning  optimization  hyperparameter  machine-learning  time-series  categorical-data  logistic-regression  python  visualization  bigdata  efficiency  classification  binary  svm  random-forest  logistic-regression  data-mining  sql  experiments  bigdata  efficiency  performance  scalability  distributed  bigdata  nlp  statistics  education  knowledge-base  definitions  machine-learning  recommender-system  evaluation  efficiency  algorithms  parameter  efficiency  scalability  sql  statistics  visualization  knowledge-base  education  machine-learning  r  python  r  text-mining  sentiment-analysis  machine-learning  machine-learning  python  neural-network  statistics  reference-request  machine-learning  data-mining  python  classification  data-mining  bigdata  usecase  apache-hadoop  map-reduce  aws  education  feature-selection  machine-learning  machine-learning  sports  data-formats  hierarchical-data-format  bigdata  apache-hadoop  bigdata  apache-hadoop  python  visualization  knowledge-base  classification  confusion-matrix  accuracy  bigdata  apache-hadoop  bigdata  efficiency  apache-hadoop  distributed  machine-translation  nlp  metadata  data-cleaning  text-mining  python  pandas  machine-learning  python  pandas  scikit-learn  bigdata  machine-learning  databases  clustering  data-mining  recommender-system 

Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 4 anos . Estou trabalhando em um projeto e estou tendo dificuldades para …

10 machine-learning  algorithms  random-forest  linear-regression  decision-trees  machine-learning  predictive-modeling  forecast  r  clustering  similarity  data-mining  dataset  statistics  text-mining  text-mining  data-cleaning  data-wrangling  machine-learning  classification  algorithms  xgboost  data-mining  dataset  dataset  regression  graphs  svm  unbalanced-classes  cross-validation  optimization  hyperparameter  genetic-algorithms  visualization  predictive-modeling  correlation  machine-learning  predictive-modeling  apache-spark  statistics  normalization  apache-spark  map-reduce  r  correlation  confusion-matrix  r  data-cleaning  classification  terminology  dataset  image-classification  machine-learning  regression  apache-spark  machine-learning  data-mining  nlp  parsing  machine-learning  dimensionality-reduction  visualization  clustering  multiclass-classification  evaluation  unsupervised-learning  machine-learning  machine-learning  data-mining  supervised-learning  unsupervised-learning  machine-learning  data-mining  classification  statistics  predictive-modeling  data-mining  clustering  python  pandas  machine-learning  dataset  data-cleaning  data  bigdata  software-recommendation 

Por que a medida F geralmente é usada para tarefas de classificação (supervisionadas), enquanto a medida G (ou índice de Fowlkes – Mallows) é geralmente usada para tarefas de agrupamento (não supervisionadas)? A medida F é a média harmônica da precisão e recuperação . A medida G (ou índice de …

8 machine-learning  evaluation  scoring  metric  nlg 

Eu tenho uma Xmatriz, uma yvariável e outra variável ORTHO_VAR. Preciso prever a yvariável usando X, no entanto, as previsões desse modelo precisam ser ortogonais e, ao ORTHO_VARmesmo tempo, estar o mais correlacionadas ypossível. Eu preferiria que as previsões fossem geradas com um método não paramétrico como, por exemplo, xgboost.XGBRegressormas …

8 correlation  machine-learning  dataset  logistic-regression  prediction  linear-regression  prediction  dummy-variables  neural-network  image-classification  python  k-nn  python  neural-network  neural-network  deep-learning  keras  tensorflow  image-classification  tensorflow  reinforcement-learning  policy-gradients  machine-learning  decision-trees  neural-network  overfitting  data-analysis  metric  python  scikit-learn  distance  scipy  machine-learning  python  scikit-learn  decision-trees  logistic-regression  keras  image-classification  implementation  machine-learning  python  scikit-learn  random-forest  decision-trees  machine-learning  feature-selection  feature-engineering  word2vec  word-embeddings  natural-language-process  scikit-learn  time-series  clustering  k-means  python  cross-validation  pyspark  statistics  cross-validation  multiclass-classification  evaluation  machine-learning  nlp  machine-translation  neural-network  deep-learning  keras  tensorflow  image-classification  machine-learning  python  similarity  distance  lstm  text  named-entity-recognition  machine-learning  keras  optimization  gan  learning-rate  neural-network  data-mining  dataset  databases  books  neural-network  rnn 

Como estou lidando com dados altamente desequilibrados, usei o algoritmo SMOTE para reamostrar o conjunto de dados. Após a reamostragem do SMOTE, dividi o conjunto de dados reamostrado em conjuntos de treinamento / teste, usando o conjunto de treinamento para criar um modelo e um conjunto de testes para avaliar …

8 machine-learning  unbalanced-classes  evaluation