Perguntas com a marcação «cross-validation»

Se eu tiver dados e executar uma classificação (digamos floresta aleatória nesses dados) com validação cruzada (digamos 5 vezes), posso concluir que não há ajuste excessivo no meu método?

17 cross-validation  overfitting 

Tenho usado repetidas vezes a validação cruzada de dobras em k e relatado a média (da métrica de avaliação, por exemplo, sensibilidade, especificidade) calculada como a grande média entre as dobras de diferentes execuções da validação cruzada. No entanto, não tenho certeza de como devo reportar a variação. Encontrei muitas …

17 cross-validation 

Li as seguintes postagens para validação cruzada aninhada e ainda não tenho 100% de certeza do que devo fazer com a seleção de modelo com validação cruzada aninhada: Validação cruzada aninhada para seleção de modelo Seleção de modelos e validação cruzada: o caminho certo Para explicar minha confusão, deixe-me tentar …

16 cross-validation  scikit-learn  hyperparameter 

O pacote de interpolação é uma biblioteca R brilhante para a construção de vários modelos de aprendizado de máquina e possui várias funções para construção e avaliação de modelos. Para ajuste de parâmetros e treinamento do modelo, o pacote de interpolação de mão oferece 'repeatcv' como um dos métodos. Como …

16 cross-validation  caret 

Me deparei com este artigo de 2012 de Gitte Vanwinckelen e Hendrik Blockeel questionando a utilidade da validação cruzada repetida, que se tornou uma técnica popular para reduzir a variação da validação cruzada. Os autores demonstraram que, embora a validação cruzada repetida diminua a variação das previsões do modelo, uma …

16 cross-validation 

Eu tenho um conjunto de dados de 120 amostras em uma configuração de validação cruzada de 10 vezes. Atualmente, eu escolho os dados de treinamento do primeiro holdout e faço uma validação cruzada 5 vezes para escolher os valores de gama e C pela pesquisa em grade. Estou usando o …

16 machine-learning  classification  cross-validation  svm 

Se você ajustar uma função não linear a um conjunto de pontos (supondo que haja apenas uma ordenada para cada abcissa), o resultado poderá ser: uma função muito complexa com pequenos resíduos uma função muito simples com grandes resíduos A validação cruzada é comumente usada para encontrar o "melhor" compromisso …

16 model-selection  cross-validation 

Acabei de assistir novamente a uma palestra do curso Machine Learning no Coursera. Na seção em que o professor discute o PCA para pré-processamento de dados em aplicativos de aprendizado supervisionado, ele diz que o PCA deve ser executado apenas nos dados de treinamento e, em seguida, o mapeamento é …

16 r  pca  cross-validation  caret 

Os dados de normalização (com média zero e desvio padrão da unidade) antes de executar uma validação cruzada repetida em dobra k tem conquistas negativas, como ajuste excessivo? Nota: isto é para uma situação em que #cases> total #features Estou transformando alguns dos meus dados usando uma transformação de log …

16 cross-validation  normalization 

Eu sou relativamente novo em florestas aleatórias. No passado, sempre comparei a precisão do ajuste contra o teste contra o ajuste contra o trem para detectar qualquer ajuste excessivo. Mas acabei de ler aqui que: "Em florestas aleatórias, não há necessidade de validação cruzada ou de um conjunto de testes …

15 cross-validation  random-forest  overfitting 

Os testes de permutação (também chamados de teste de randomização, teste de re-randomização ou teste exato) são muito úteis e úteis quando a suposição de distribuição normal exigida por, por exemplo, t-testnão é atendida e quando a transformação dos valores pela classificação do teste não-paramétrico como Mann-Whitney-U-testlevaria a mais informações …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

TLDR: Meu conjunto de dados é bem pequeno (120) amostras. Ao fazer a validação cruzada de 10 vezes, devo: Colete as saídas de cada dobra de teste, concatene-as em um vetor e calcule o erro nesse vetor completo de previsões (120 amostras)? Ou devo vez calcular o erro nas saídas …

15 classification  cross-validation  small-sample 

Eu sou muito novo em análise de dados funcionais (FDA). Estou lendo: Ramsay, James O. e Silverman, Bernard W. (2006), Functional Data Analysis, 2ª ed., Springer, Nova York. No entanto, ainda não estou muito claro onde / quando usar o FDA? Alguém poderia me dar um exemplo, especialmente em estudos …

15 statistical-significance  cross-validation  nonparametric 

A "validação de inicialização" / "validação cruzada de reamostragem" é nova para mim, mas foi discutida pela resposta a esta pergunta . Acho que envolve dois tipos de dados: os dados reais e os dados simulados, em que um determinado conjunto de dados simulados é gerado a partir dos dados …

15 cross-validation  bootstrap  validation  resampling 

Suponha que eu tenha construído um modelo de previsão para a ocorrência de uma doença específica em um conjunto de dados (o conjunto de dados de construção do modelo) e agora quero verificar o quão bem o modelo funciona em um novo conjunto de dados (o conjunto de dados de …

15 predictive-models  cross-validation  survival  roc