Perguntas com a marcação «cross-validation»

Qual é a diferença entre validação cruzada estratificada e validação cruzada ? A Wikipedia diz: Na validação cruzada estratificada de dobras k , as dobras são selecionadas para que o valor médio da resposta seja aproximadamente igual em todas as dobras. No caso de uma classificação dicotômica, isso significa que …

55 cross-validation  stratification 

Para mim, parece que a validação de espera é inútil. Ou seja, dividir o conjunto de dados original em duas partes (treinamento e teste) e usar a pontuação do teste como uma medida de generalização é um tanto inútil. A validação cruzada da dobra K parece fornecer melhores aproximações de …

54 machine-learning  cross-validation  validation 

No aprendizado estatístico, implícita ou explicitamente, sempre se assume que o conjunto de treinamento é composto de tuplas de entrada / resposta que são desenhados independentemente da mesma distribuição conjunta comD={X,y}D={X,y}\mathcal{D} = \{ \bf {X}, \bf{y} \}NNNP ( X , y )(Xi,yi)(Xi,yi)({\bf{X}}_i,y_i) P(X,y)P(X,y)\mathbb{P}({\bf{X}},y) p(X,y)=p(y|X)p(X)p(X,y)=p(y|X)p(X) p({\bf{X}},y) = p( y \vert {\bf{X}}) …

54 machine-learning  cross-validation  non-independent  iid 

Considere um bom problema de regressão antigo com preditores de e tamanho da amostra . A sabedoria usual é que o estimador OLS superajuste e geralmente será superado pelo estimador de regressão de crista:É padrão usar a validação cruzada para encontrar um parâmetro de regularização ideal . Aqui eu uso …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

Transformo todos os meus dados ou dobras (se o CV for aplicado) ao mesmo tempo? por exemplo (allData - mean(allData)) / sd(allData) Transformo trainset e testset separadamente? por exemplo (trainData - mean(trainData)) / sd(trainData) (testData - mean(testData)) / sd(testData) Ou eu transformo o trainset e uso cálculos no testset? por …

47 r  cross-validation  data-transformation  normalization  standardization 

Tirando as considerações sobre o poder da computação, existem razões para acreditar que o aumento do número de dobras na validação cruzada leva a uma melhor seleção / validação de modelo (ou seja, quanto maior o número de dobras, melhor)? Levando o argumento ao extremo, a validação cruzada de exclusão …

47 cross-validation  bias-variance-tradeoff 

Gostaria de saber se alguém conhece um compêndio de técnicas de validação cruzada com uma discussão das diferenças entre eles e um guia sobre quando usar cada um deles. A Wikipedia possui uma lista das técnicas mais comuns, mas estou curioso para saber se existem outras técnicas e se existem …

43 cross-validation 

Existem estudos empíricos que justifiquem o uso da regra de erro padrão em favor da parcimônia? Obviamente, depende do processo de geração de dados, mas qualquer coisa que analise um grande conjunto de conjuntos de dados seria uma leitura muito interessante. A "regra de erro padrão" é aplicada ao selecionar …

39 cross-validation  model-selection  regularization 

TL, DR: Parece que, ao contrário do conselho muitas vezes repetida, leave-one-out validação cruzada (LOO-CV) - isto é,CV fold com(o número de dobras) igual a(o número das observações de treinamento) - produz estimativas do erro de generalização que é a menor variável para qualquer, não a mais variável, assumindo uma …

37 regression  machine-learning  variance  cross-validation  predictive-models 

Em todos os contextos, eu estou familiarizado com a validação cruzada, que é usada apenas com o objetivo de aumentar a precisão preditiva. A lógica da validação cruzada pode ser estendida na estimativa das relações imparciais entre variáveis? Embora este artigo de Richard Berk demonstre o uso de uma amostra …

37 cross-validation  causality 

Eu tenho usado o pacote de intercalação no R para criar modelos preditivos para classificação e regressão. O Caret fornece uma interface unificada para ajustar os hiper-parâmetros do modelo por validação cruzada ou correias de inicialização. Por exemplo, se você está construindo um modelo simples de 'vizinhos mais próximos' para …

37 r  time-series  cross-validation 

Ao usar a validação cruzada para fazer a seleção do modelo (como por exemplo, ajuste de hiperparâmetro) e avaliar o desempenho do melhor modelo, deve-se usar a validação cruzada aninhada . O loop externo é para avaliar o desempenho do modelo, e o loop interno é para selecionar o melhor …

36 cross-validation  model-selection  ridge-regression 

Estou tentando descobrir qual método de validação cruzada é melhor para minha situação. Os dados a seguir são apenas um exemplo para solucionar o problema (em R), mas meus Xdados reais ( xmat) são correlacionados entre si e em graus diferentes com a yvariável ( ymat). Forneci o código R, …

36 r  regression  cross-validation  linear-model 

Eu tenho um conjunto de dados para o qual tenho vários conjuntos de rótulos binários. Para cada conjunto de rótulos, treino um classificador, avaliando-o por validação cruzada. Quero reduzir a dimensionalidade usando a análise de componentes principais (PCA). Minha pergunta é: É possível executar o PCA uma vez para todo …

35 machine-learning  classification  pca  cross-validation 

Existem vários threads no CrossValidated no tópico seleção de modelo e validação cruzada. Aqui estão alguns: Validação cruzada interna x externa e seleção de modelo A melhor resposta de @ DikranMarsupial para Seleção de recursos e validação cruzada No entanto, as respostas para esses encadeamentos são bastante genéricas e destacam …

34 cross-validation  model-selection