Perguntas com a marcação «model-evaluation»

Costumo ouvir sobre a avaliação do desempenho de um modelo de classificação, mantendo o conjunto de testes e treinando um modelo no conjunto de treinamento. Em seguida, crie 2 vetores, um para os valores previstos e outro para os valores verdadeiros. Obviamente, fazer uma comparação permite julgar o desempenho do …

10 regression  machine-learning  model-evaluation 

Estou trabalhando em um conjunto de dados. Depois de usar algumas técnicas de identificação de modelos, criei um modelo ARIMA (0,2,1). Usei a detectIOfunção no pacote TSAem R para detectar um outlier inovador (IO) na 48ª observação do meu conjunto de dados original. Como faço para incorporar esse erro externo …

10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models 

Estou trabalhando na previsão de séries temporais. I tem dois conjuntos de dados D 1 = { x1 1, x2, . . . . xn}D1={x1,x2,....xn}D1=\{x_1, x_2,....x_n\} e D 2 = { xn+ 1 , xn+ 2 , xn+ 3 , . . . . , xn+ k }D2={xn+1,xn+2,xn+3,....,xn+k}D2=\{x_n+1, x_n+2, x_n+3,...., …

10 time-series  machine-learning  statistical-significance  classification  model-evaluation 

Basicamente, existem duas maneiras comuns de aprender com grandes conjuntos de dados (quando você se depara com restrições de tempo / espaço): Trapaça :) - use apenas um subconjunto "gerenciável" para treinamento. A perda de precisão pode ser insignificante por causa da lei dos retornos decrescentes - o desempenho preditivo …

10 machine-learning  large-data  model-evaluation  train 

Desejo testar algumas das minhas idéias que considero melhores do que qualquer coisa que já vi. Eu posso estar errado, mas gostaria de testar minhas idéias e vencer minhas dúvidas com mais observações certas. O que eu tenho pensado em fazer é o seguinte: Analiticamente, defina um conjunto de distribuições. …

10 hypothesis-testing  estimation  pdf  kernel-smoothing  model-evaluation 

Essa pode ser uma pergunta básica: qual é a diferença entre preconceito e falta de adequação? E, analogamente, qual é a diferença entre variação e super adaptação? Os termos de cada par significam a mesma coisa? Se não, qual é a diferença?

10 variance  bias  overfitting  model-evaluation 

Eu tenho um modelo dinâmico ingênuo de Bayes treinado em algumas variáveis ​​temporais. A saída do modelo é a previsão de P(Event) @ t+1, estimada em cada um t. O gráfico de P(Event)versus timeé como mostrado na figura abaixo. Nesta figura, a linha preta representa P(Event)como previsto pelo meu modelo; …

9 time-series  probability  prediction  model-comparison  model-evaluation 

Eu tenho dados rotulados de 2 classes nos quais estou executando a classificação usando vários classificadores. E os conjuntos de dados são bem equilibrados. Ao avaliar o desempenho dos classificadores, preciso levar em consideração a precisão do classificador em determinar não apenas os verdadeiros positivos, mas também os verdadeiros negativos. …

9 classification  roc  model-evaluation  sensitivity-specificity 

Em meus dados, eu tenho uma variável de classe, denominado . Os valores desta variável de classe são (binário). Quase todas as observações de são 0 (perto de 100%, mais precisamente, 97%). Eu gostaria de fazer um teste de "desempenho" em diferentes modelos de classificação (pode ser precisão). O que …

9 classification  binary-data  model-evaluation 

Atualmente, estou trabalhando em alguns dados de séries temporais, sei que posso usar o modelo LOESS / ARIMA. Os dados são gravados em um vetor cujo comprimento é 1000, que é uma fila, sendo atualizado a cada 15 minutos, Assim, os dados antigos serão exibidos enquanto os novos dados forem …

9 time-series  model-evaluation 

Para problemas de classificação, tenho usado Redes Neurais e medido erros do tipo I e II usando a matriz de confusão e suas medidas de acordo com este recurso ( espelho ), o que é bastante simples. Quando confrontado com um problema de estimativa, como avaliar o desempenho do modelo? …

9 regression  machine-learning  estimation  model-evaluation 

Encontrei uma métrica de erro usada para quantificar o erro de reconstrução de um modelo: , ondeyié oith ponto de dados,mié a estimativa do modelo doith ponto de dados, e ˉ y é a média de todos os pontos de dados. O numerador é o erro quadrado total do modelo …

8 terminology  error  model-evaluation 

Estou bastante confuso sobre como posso calcular os valores de AP ou mAP, pois parece haver alguns métodos diferentes. Eu quero especificamente obter os valores de AP / mAP para detecção de objetos. Tudo o que tenho certeza é: Rechamada = TP / (TP + FN), Precisão = TP / …

8 machine-learning  precision-recall  model-evaluation  average-precision  object-detection