Perguntas com a marcação «cross-validation»

Li várias vezes que a validação cruzada "Deixar um fora" tem alta variação devido à grande sobreposição das dobras de treinamento. No entanto, não entendo por que isso é: o desempenho da validação cruzada não deve ser muito estável (baixa variação) exatamente porque os conjuntos de treinamento são quase idênticos? …

15 variance  cross-validation  bias 

Eu tenho uma pergunta específica sobre validação na pesquisa de aprendizado de máquina. Como sabemos, o regime de aprendizado de máquina solicita que os pesquisadores treinem seus modelos nos dados de treinamento, escolha modelos candidatos por conjunto de validação e relate a precisão no conjunto de testes. Em um estudo …

15 machine-learning  cross-validation  reproducible-research 

Existe realmente alguma diferença entre o canivete e deixar uma validação cruzada? O procedimento parece idêntico. Estou perdendo alguma coisa?

15 cross-validation  jackknife 

Dada uma matriz , a fatoração de matriz não negativa (NMF) encontra duas matrizes não negativas e ( ou seja, com todos os elementos ) para representar a matriz decomposta como:W m × k H k × n ≥0Vm×nVm×n\mathbf V^{m \times n}Wm×kWm×k\mathbf W^{m \times k}Hk×nHk×n\mathbf H^{k \times n}≥0≥0\ge 0 V≈WH,V≈WH,\mathbf …

15 cross-validation  unsupervised-learning  latent-variable  matrix-decomposition  nnmf 

Estou analisando um conjunto de dados usando um modelo de efeitos mistos com um efeito fixo (condição) e dois efeitos aleatórios (participante devido ao design do sujeito e ao par). O modelo foi gerado com o lme4pacote: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Em seguida, realizei um teste de razão de verossimilhança desse modelo em …

15 r  repeated-measures  multiple-comparisons  post-hoc  lsmeans  bayesian  posterior  marginal  integral  anova  time-series  regularization  machine-learning  pca  computational-statistics  references  inference  regression  cross-validation  python  random-forest  chi-squared  spearman-rho  r  machine-learning  confidence-interval  bagging  clustering  feature-selection  model-selection  bic  hypothesis-testing  kurtosis  r  regression  residuals  terminology 

Ao usar o bootstrapping para avaliação do modelo, sempre achei que as amostras prontas para uso foram usadas diretamente como conjunto de teste. No entanto, esse parece não ser o caso da abordagem preterida do scikit-learnBootstrap , que parece criar o conjunto de testes a partir do desenho com a …

15 cross-validation  bootstrap  random-forest  scikit-learn  bagging 

Estou classificando imagens usando aprendizado de máquina. Suponha que eu tenha alguns dados de treinamento (imagens) e os divida em conjuntos de treinamento e validação. E também quero aumentar os dados (produzir novas imagens a partir das originais) por rotações aleatórias e injeção de ruído. O aumento é feito offline. …

14 machine-learning  classification  cross-validation  dataset  data-augmentation 

Estive navegando em vários tópicos aqui, mas não acho que minha pergunta exata seja respondida. Eu tenho um conjunto de dados de ~ 50.000 alunos e seu tempo para desistir. Vou realizar uma regressão proporcional a riscos com um grande número de covariáveis ​​em potencial. Também farei regressão logística na …

14 cross-validation  survival  train 

Estou redigindo uma revisão de literatura sobre um problema de saúde pública atual em que os dados são confundidos: Quais são os estudos de caso históricos comuns usados ​​na educação em saúde pública / epidemiologia em que relações ou inferências inválidas ou confusas foram intencional ou erroneamente empregadas nas políticas …

14 cross-validation  reliability  epidemiology  biostatistics 

Eu já ouvi a seguinte expressão antes: "Otimização é a raiz de todo mal nas estatísticas". Por exemplo, a resposta principal neste tópico faz essa afirmação em referência ao perigo de otimizar de forma muito agressiva durante a seleção do modelo. Minha primeira pergunta é a seguinte: Essa citação é …

14 cross-validation  optimization  overfitting 

Bloqueado . Esta pergunta e suas respostas estão bloqueadas porque a questão está fora do tópico, mas tem um significado histórico. No momento, não está aceitando novas respostas ou interações. Agora eu tenho um Rquadro de dados (treinamento), alguém pode me dizer como dividir aleatoriamente esse conjunto de dados para …

14 cross-validation 

Estou fazendo uma validação cruzada usando o método deixar de fora. Eu tenho uma resposta binária e estou usando o pacote de inicialização para R e a função cv.glm . Meu problema é que não entendo completamente a parte "custo" dessa função. Pelo que entendi, é a função que decide …

14 r  cross-validation 

Depois de ler uma das "Dicas de pesquisa" do RJ Hyndman sobre validação cruzada e séries temporais, voltei a uma antiga pergunta minha que tentarei formular aqui. A idéia é que, em problemas de classificação ou regressão, a ordem dos dados não é importante e, portanto , a validação cruzada …

14 time-series  machine-learning  cross-validation 

O Scikit possui o CalibratedClassifierCV , que permite calibrar nossos modelos em um par X, y específico. Também afirma claramente quedata for fitting the classifier and for calibrating it must be disjoint. Se eles devem ser desarticulados, é legítimo treinar o classificador com o seguinte? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) …

14 cross-validation  scikit-learn  validation  train  calibration 

Meu entendimento geral é que a AIC lida com o compromisso entre a qualidade do ajuste do modelo e a complexidade do modelo. A IC= 2 k - 2 l n ( L )UMAEuC=2k-2eun(eu)AIC =2k -2ln(L) kkk = número de parâmetros no modelo eueuL = probabilidade O critério de informação …

14 cross-validation  lasso  aic  ridge-regression  bic