Perguntas com a marcação «cross-validation»

Estou usando 2 tipos de regressão logística - um é o tipo simples, para classificação binária, e o outro é regressão logística ordinal. Para calcular a precisão do primeiro, usei a validação cruzada, onde calculei a AUC para cada dobra e calculei a AUC média. Como posso fazer isso para …

9 logistic  cross-validation  roc  auc  ordered-logit 

Meu colega e eu estamos ajustando uma variedade de modelos de efeitos mistos lineares e não-lineares em R. Somos solicitados a realizar validação cruzada nos modelos ajustados, para que se possa verificar se os efeitos observados são relativamente generalizáveis. Normalmente, essa é uma tarefa trivial, mas, no nosso caso, precisamos …

9 mixed-model  cross-validation 

O maravilhoso pacote libsvm fornece uma interface python e um arquivo "easy.py" que pesquisa automaticamente parâmetros de aprendizado (custo e gama) que maximizam a precisão do classificador. Dentro de um determinado conjunto de parâmetros de aprendizado do candidato, a precisão é operacionalizada pela validação cruzada, mas acho que isso prejudica …

9 cross-validation  svm 

Temos um conjunto de amostras biológicas bastante caras de obter. Colocamos essas amostras em uma série de testes para gerar dados usados ​​para a construção de um modelo preditivo. Para esse fim, dividimos as amostras em conjuntos de treinamento (70%) e teste (30%). Criamos com sucesso um modelo e o …

9 classification  modeling  experiment-design  cross-validation  bootstrap 

Portanto, tenho 16 ensaios em que estou tentando autenticar uma pessoa de uma característica biométrica usando a Distância de Hamming. Meu limite está definido como 3,5. Meus dados estão abaixo e apenas o teste 1 é um verdadeiro positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Como você sabe, existem dois tipos populares de validação cruzada, dobra K e subamostragem aleatória (conforme descrito na Wikipedia ). No entanto, eu sei que alguns pesquisadores estão fazendo e publicando artigos em que algo que é descrito como um CV dobrável em K é de fato uma subamostragem aleatória; …

9 machine-learning  cross-validation 

Eu tenho um modelo de regressão simples ( y = param1 * x1 + param2 * x2 ). Quando ajusto o modelo aos meus dados, encontro duas boas soluções: A solução A, parâmetros = (2,7), é melhor no conjunto de treinamento com RMSE = 2,5 MAS! Parâmetros da solução B …

9 regression  cross-validation  overfitting  sensitivity-analysis 

Estou treinando um classificador binário SVM usando o Scikit learn. Devido à natureza do meu problema, preciso evitar falsos negativos. Como nada é gratuito, estou bem em obter uma taxa mais alta de falsos positivos, a fim de reduzir o número de falsos negativos. Como podemos fazer isso (idealmente com …

9 machine-learning  cross-validation  svm  python  scikit-learn 

Eu tive uma entrevista de emprego para uma posição de ciência de dados. Durante a entrevista, perguntaram-me o que devo fazer para garantir que o modelo não seja ajustado demais. Minha primeira resposta foi usar a validação cruzada para avaliar o desempenho do modelo. No entanto, o entrevistador disse que …

9 cross-validation  regularization  overfitting 

Eu rotulei dados compostos por 10000 exemplos positivos e 50000 exemplos negativos, fornecendo um total de 60000 exemplos. Obviamente esses dados estão desequilibrados. Agora, digamos que quero criar meu conjunto de validação e quero usar 10% dos meus dados para fazer isso. Minha pergunta é a seguinte: Devo garantir que …

9 machine-learning  neural-networks  cross-validation  dataset  unbalanced-classes 

Nos estudos de psicologia, aprendi que deveríamos usar o método de Bonferroni para ajustar o nível de significância ao testar várias hipóteses em um único conjunto de dados. Atualmente, estou trabalhando com métodos de aprendizado de máquina, como Support Vector Machines ou Random Forest para classificação. Aqui eu tenho um …

9 machine-learning  cross-validation  svm  overfitting  bonferroni 

A AIC é frequentemente recomendado como critério para comparar modelos para previsão de séries temporais. Veja, por exemplo, isso no contexto de modelos de regressão dinâmica : O AIC pode ser calculado para o modelo final e esse valor pode ser usado para determinar os melhores preditores. Ou seja, o …

9 time-series  cross-validation  model-selection  arima  aic 

Suponha que, em uma análise de regressão em R, eu tenha uma variável independente do tipo de fator com 3 níveis no meu conjunto de dados de trem. Mas no conjunto de dados de teste essa mesma variável de fator tem 5 níveis. Portanto, não posso prever os valores de …

9 r  regression  categorical-data  cross-validation  rare-events 

Nos mínimos quadrados comuns, regredindo um vetor alvo contra um conjunto de preditores , a matriz de chapéu é calculada comoyyyXXX H=X(XtX)−1XtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t e a PRESS (soma residual prevista dos quadrados) é calculada por SSP=∑i(ei1−hii)2SSP=∑i(ei1−hii)2SS_P = \sum_i \left( \frac{e_i}{1-h_{ii}}\right)^2 onde é o th residual e o são …

9 regression  cross-validation  ridge-regression 

Entendo o conceito de validação cruzada com dobras k , mas não entendo o que significa "dobra". Citando a partir da página vinculada na wikipedia: O processo de validação cruzada é repetido k vezes (as dobras) Isso parece muito vago. A 'dobra' se refere a cada repetição do processo? Ou …

9 cross-validation  terminology