Perguntas com a marcação «cross-validation»

Em seu artigo Seleção de modelo linear por validação cruzada , Jun Shao mostra que, para o problema de seleção de variáveis ​​na regressão linear multivariada, o método de validação cruzada de sobreaquecimento (LOOCV) é 'assintoticamente inconsistente'. Em inglês simples, ele tende a selecionar modelos com muitas variáveis. Em um …

22 classification  model-selection  cross-validation 

O meu entendimento é que, mesmo quando seguindo procedimentos transversais adequados de seleção de validação e modelo, overfitting vai acontecer se um pesquisas para um modelo com força suficiente , a menos que restrições impõe a complexidade do modelo, período. Além disso, muitas vezes as pessoas tentam aprender multas na …

21 machine-learning  cross-validation  goodness-of-fit  scikit-learn  caret 

Nota: O caso é n >> p Estou lendo Elementos de aprendizagem estatística e há várias menções sobre a maneira "correta" de fazer a validação cruzada (por exemplo, página 60, página 245). Especificamente, minha pergunta é como avaliar o modelo final (sem um conjunto de testes separado) usando o CV …

21 machine-learning  model-selection  data-mining  cross-validation 

Eu tenho lido sobre a validação do k-fold e quero ter certeza de que entendi como isso funciona. Eu sei que, para o método de validação, os dados são divididos em três conjuntos, e o conjunto de teste é usado apenas no final para avaliar o desempenho do modelo, enquanto …

21 cross-validation  validation  out-of-sample 

Fiz uma validação cruzada de 10 vezes em diferentes algoritmos de classificação binária, com o mesmo conjunto de dados e recebi os resultados médios de Micro e Macro. Deve-se mencionar que esse era um problema de classificação de vários rótulos. No meu caso, verdadeiros negativos e verdadeiros positivos são igualmente …

21 machine-learning  cross-validation 

Sei que executar o ajuste de hiperparâmetros fora da validação cruzada pode levar a estimativas enviesadas de validade externa, porque o conjunto de dados que você usa para medir o desempenho é o mesmo usado para ajustar os recursos. O que eu quero saber é o quão ruim é esse …

20 cross-validation  validation  hyperparameter 

Estou testando diferentes classificadores em um conjunto de dados em que há 5 classes e cada instância pode pertencer a uma ou mais dessas classes; portanto, estou usando especificamente os classificadores de várias etiquetas do scikit-learn sklearn.multiclass.OneVsRestClassifier. Agora eu quero executar a validação cruzada usando o sklearn.cross_validation.StratifiedKFold. Isso produz o …

20 cross-validation  python  multi-class  scikit-learn  multilabel 

Estou usando libsvm no modo C-SVC com um kernel polinomial de grau 2 e sou obrigado a treinar vários SVMs. Cada conjunto de treinamento possui 10 recursos e 5000 vetores. Durante o treinamento, recebo este aviso para a maioria dos SVMs que treino: WARNING: reaching max number of iterations optimization …

20 machine-learning  cross-validation  svm  regularization  libsvm 

Dado um modelo hierárquico , quero um processo de dois estágios para se ajustar ao modelo. Primeiro, corrija um punhado de hiperparâmetros e, em seguida, faça inferência bayesiana no restante dos parâmetros . Para fixar os hiperparâmetros, estou considerando duas opções.p(x|ϕ,θ)p(x|ϕ,θ)p(x|\phi,\theta)θθ\thetaϕϕ\phi Use Bayes empírico (EB) e maximize a probabilidade marginal …

20 cross-validation  references  empirical-bayes 

Duas abordagens comuns para a seleção de variáveis ​​correlacionadas são testes de significância e validação cruzada. Que problema cada um tenta resolver e quando eu preferiria um ao outro?

20 cross-validation  feature-selection 

Precisão é definida como: p = true positives / (true positives + false positives) É verdade que, como true positivese false positivesabordagem 0, a precisão se aproxima de 1? Mesma pergunta para recall: r = true positives / (true positives + false negatives) No momento, estou implementando um teste estatístico …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Dediquei muito tempo ao desenvolvimento de métodos e softwares para validar modelos preditivos no domínio estatístico freqüentista tradicional. Ao colocar mais idéias bayesianas em prática e ensinar, vejo algumas diferenças importantes a serem adotadas. Primeiro, a modelagem preditiva bayesiana pede ao analista que pense muito sobre distribuições anteriores que podem …

20 bayesian  cross-validation  predictive-models  validation  regression-strategies 

O caretpacote R é validado cruzadamente sobre alphae lambdapara o glmnetmodelo? Executando esse código, eGrid <- expand.grid(.alpha = (1:10) * 0.1, .lambda = (1:10) * 0.1) Control <- trainControl(method = "repeatedcv",repeats = 3,verboseIter =TRUE) netFit <- train(x =train_features, y = y_train, method = "glmnet", tuneGrid = eGrid, trControl = Control) …

20 r  machine-learning  cross-validation  caret  glmnet 

Estou confuso sobre como particionar os dados para validação cruzada k-fold do aprendizado de conjuntos. Supondo que eu tenha uma estrutura de aprendizado de conjuntos para classificação. Minha primeira camada contém os modelos de classificação, por exemplo, svm, árvores de decisão. Minha segunda camada contém um modelo de votação, que …

20 classification  cross-validation  ensemble 

Gostaria de saber se existem / algumas vantagens em usar amostragem estratificada em vez de aleatória, ao dividir o conjunto de dados original em conjunto de treinamento e teste para classificação. Além disso, a amostragem estratificada introduz mais viés no classificador do que a amostragem aleatória? O aplicativo, para o …

20 classification  cross-validation  random-forest  train  stratification