Perguntas com a marcação «outliers»

Encontrei essa frase ao ler um artigo no sciencemag.org . No final, foram incluídas respostas de apenas 7600 pesquisadores em 12 países, porque os dados restantes não foram considerados estatisticamente significativos. Essa é uma maneira adequada de fazer pesquisa? Deixar de lado os resultados por não serem considerados estatisticamente significativos?

9 statistical-significance  sampling  outliers  theory 

Estou investigando a interação entre duas variáveis ​​( e ). Existe uma grande correlação linear entre essas variáveis ​​com . Pela natureza do problema, não posso dizer nada sobre a causa (se causa ou o contrário). Eu gostaria de estudar os desvios da linha de regressão, a fim de detectar …

9 regression  outliers  linear-model 

Estou trabalhando com uma série de pontuações de anomalias (o fundo é a detecção de anomalias em redes de computadores). A cada minuto, recebo uma pontuação de anomalia que me diz o quão "inesperado" ou anormal é o estado atual da rede. Quanto maior a pontuação, mais anormal é o …

9 time-series  outliers  threshold 

Portanto, tenho 16 ensaios em que estou tentando autenticar uma pessoa de uma característica biométrica usando a Distância de Hamming. Meu limite está definido como 3,5. Meus dados estão abaixo e apenas o teste 1 é um verdadeiro positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Eu tenho um conjunto de pontos de dados que deveriam ficar em um lugar geométrico e seguir um padrão, mas existem alguns pontos de dispersão do lugar geométrico principal que causam incerteza em minha análise final. Eu gostaria de obter um local limpo para aplicá-lo mais tarde em minha análise. …

9 outliers  scatterplot 

Eu li muitos artigos que testam o k-means com muitos conjuntos de dados que normalmente não são distribuídos como o conjunto de dados da íris e obtêm bons resultados. Como entendo que o k-means é para dados normalmente distribuídos, por que o k-means está sendo usado para dados não distribuídos …

9 normal-distribution  outliers  k-means 

O coeficiente de correlação é: r =∑k(xk-x¯) (yk-yk¯)sxsyn - 1r=∑k(xk−x¯)(yk−yk¯)sxsyn−1 r = \frac{\sum_k \frac{(x_k - \bar{x}) (y_k - \bar{y_k})}{s_x s_y}}{n-1} A média da amostra e o desvio padrão da amostra são sensíveis a valores discrepantes. Além disso, o mecanismo em que, r =∑kcoisakn - 1r=∑kstuffkn−1 r = \frac{\sum_k \text{stuff}_k}{n -1} …

9 regression  correlation  outliers  median  mad 

Recentemente, recebi um comentário de um revisor de uma revista que me pediu para relatar como eu lidei com outliers e franjas . Eu não tinha ouvido falar do termo "franjas" e, quando pesquisei no Google, havia alguns artigos, mas nenhuma definição concisa. Por isso, pensei que seria bom ter …

8 terminology  outliers 

Em um post do blog, Andrew Gelman escreve : A regressão passo a passo é uma dessas coisas, como detecção externa e gráficos de pizza, que parecem populares entre os não estatísticos, mas são considerados pelos estatísticos uma piada. Entendo a referência aos gráficos de setores circulares, mas por que …

8 dataset  outliers  quality-control 

Digamos que eu tenha uma grande amostra de valores em . Gostaria de estimar a distribuição subjacente . A maioria das amostras vem dessa distribuição assumida , enquanto o restante são discrepantes que eu gostaria de ignorar na estimativa de e .Beta ( α , β ) Beta ( α …

8 outliers  pymc  beta-distribution 

Meu projeto atual pode exigir que eu construa um modelo para prever o comportamento de um determinado grupo de pessoas. o conjunto de dados de treinamento contém apenas 6 variáveis ​​(id é apenas para fins de identificação): id, age, income, gender, job category, monthly spend em que monthly spendé a …

8 modeling  large-data  overfitting  clustering  algorithms  error  spatial  r  regression  predictive-models  linear-model  average  measurement-error  weighted-mean  error-propagation  python  standard-error  weighted-regression  hypothesis-testing  time-series  machine-learning  self-study  arima  regression  correlation  anova  statistical-significance  excel  r  regression  distributions  statistical-significance  contingency-tables  regression  optimization  measurement-error  loss-functions  image-processing  java  panel-data  probability  conditional-probability  r  lme4-nlme  model-comparison  time-series  probability  probability  conditional-probability  logistic  multiple-regression  model-selection  r  regression  model-based-clustering  svm  feature-selection  feature-construction  time-series  forecasting  stationarity  r  distributions  bootstrap  r  distributions  estimation  maximum-likelihood  garch  references  probability  conditional-probability  regression  logistic  regression-coefficients  model-comparison  confidence-interval  r  regression  r  generalized-linear-model  outliers  robust  regression  classification  categorical-data  r  association-rules  machine-learning  distributions  posterior  likelihood  r  hypothesis-testing  normality-assumption  missing-data  convergence  expectation-maximization  regression  self-study  categorical-data  regression  simulation  regression  self-study  self-study  gamma-distribution  modeling  microarray  synthetic-data 

Desculpas se esta é uma pergunta muito básica. Se tivermos dados que normalmente não são distribuídos (por exemplo, enviesados, o teste Shapiro-Wilk é significativo) e recorrermos a métodos baseados em classificação (por exemplo, teste Wilcoxon Signed Rank), então precisamos nos preocupar com discrepâncias? Imagine, por exemplo, plotar os dados usando …

8 outliers  ranks 

Eu tenho dois grupos de 10 participantes que foram avaliados três vezes durante um experimento. Para testar as diferenças entre os grupos e nas três avaliações, executei um ANOVA de desenho misto 2x3 com group(controle, experimental), time(primeiro, segundo, três) e group x time. Ambos timee groupresultaram significativos, além de haver …

8 anova  mixed-model  spss  post-hoc  bonferroni  time-series  unevenly-spaced-time-series  classification  normal-distribution  discriminant-analysis  probability  normal-distribution  estimation  sampling  classification  svm  terminology  pivot-table  random-generation  self-study  estimation  sampling  estimation  categorical-data  maximum-likelihood  excel  least-squares  instrumental-variables  2sls  total-least-squares  correlation  self-study  variance  unbiased-estimator  bayesian  mixed-model  ancova  statistical-significance  references  p-value  fishers-exact  probability  monte-carlo  particle-filter  logistic  predictive-models  modeling  interaction  survey  hypothesis-testing  multiple-regression  regression  variance  data-transformation  residuals  minitab  r  time-series  forecasting  arima  garch  correlation  estimation  least-squares  bias  pca  predictive-models  genetics  sem  partial-least-squares  nonparametric  ordinal-data  wilcoxon-mann-whitney  bonferroni  wilcoxon-signed-rank  traminer  regression  econometrics  standard-error  robust  misspecification  r  probability  logistic  generalized-linear-model  r-squared  effect-size  gee  ordered-logit  bayesian  classification  svm  kernel-trick  nonlinear  bayesian  pca  dimensionality-reduction  eigenvalues  probability  distributions  mathematical-statistics  estimation  nonparametric  kernel-smoothing  expected-value  filter  mse  time-series  correlation  data-visualization  clustering  estimation  predictive-models  recommender-system  sparse  hypothesis-testing  data-transformation  parametric  probability  summations  correlation  pearson-r  spearman-rho  bayesian  replicability  dimensionality-reduction  discriminant-analysis  outliers  weka 

Estou computando algumas probabilidades condicionais e intervalos de confiança associados a 95%. Para muitos de meus casos, tenho contagens diretas de xsucessos fora dos ntestes (de uma tabela de contingência), para que eu possa usar um intervalo de confiança binomial, como é fornecido por binom.confint(x, n, method='exact')in R. Em outros …

8 r  bayesian  confidence-interval  conditional-probability  hidden-markov-model  segmentation  hypothesis-testing  statistical-significance  multiple-comparisons  multiple-regression  r  regression  survey  sample  finite-population  pca  model-selection  dataset  partitioning  clustering  time-series  least-squares  regression  standard-error  causality  r  time-series  outliers  missing-data  machine-learning  svm  hypothesis-testing  discrete-data  r  data-visualization  survey  likert  finance  regression  pca  feature-selection  stepwise-regression  underdetermined  svm  natural-language 

Eu tenho pequenos conjuntos de dados de tamanho 40-50 pontos. Sem assumir que os dados são normalmente distribuídos, eu queria descobrir os valores extremos com pelo menos 90% de confiança. Eu pensei que o boxplot poderia ser uma boa maneira de fazer isso, mas não tenho certeza. Qualquer ajuda apreciada. …

8 nonparametric  python  outliers  matplotlib