Perguntas com a marcação «outliers»

Suponha que eu tenha um grande conjunto de dados multivariados com pelo menos três variáveis. Como posso encontrar os outliers? Os gráficos de dispersão em pares não funcionarão, pois é possível que um outlier exista em três dimensões que não seja um outlier em nenhum dos subespaços bidimensionais. Não estou …

94 multivariate-analysis  outliers 

Na minha função, muitas vezes trabalho com conjuntos de dados de outras pessoas, os não especialistas me trazem dados clínicos e os ajudo a resumir e executar testes estatísticos. O problema que estou tendo é que os conjuntos de dados que eu trouxe são quase sempre repletos de erros de …

93 dataset  outliers  checking 

Eu tinha uma pergunta sobre como interpretar os gráficos gerados pelo gráfico (lm) em R. Eu queria saber se vocês poderiam me dizer como interpretar os gráficos de localização em escala e alavancagem-residual? Quaisquer comentários serão apreciados. Assumir conhecimentos básicos de estatística, regressão e econometria.

89 r  regression  data-visualization  residuals  outliers 

Estou trabalhando com uma grande quantidade de séries temporais. Essas séries temporais são basicamente medidas de rede que ocorrem a cada 10 minutos, e algumas são periódicas (ou seja, a largura de banda), enquanto outras não são (ou seja, a quantidade de tráfego de roteamento). Eu gostaria de um algoritmo …

88 time-series  outliers  mathematical-statistics  real-time 

Ao resolver problemas de negócios usando dados, é comum que pelo menos uma suposição de que a subclasse de estatísticas clássicas seja inválida. Na maioria das vezes, ninguém se incomoda em verificar essas suposições para que você nunca saiba. Por exemplo, que muitas das métricas comuns da Web são "de …

82 model-selection  nonparametric  outliers  robust  philosophical 

Estou começando a se envolver com o uso de glmnetcom LASSO Regressão onde meu desfecho de interesse é dicotômica. Criei um pequeno quadro de dados simulado abaixo: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p …

78 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

Muitas vezes, um analista estatístico recebe um conjunto de dados definido e é solicitado a ajustar um modelo usando uma técnica como regressão linear. Com muita frequência, o conjunto de dados é acompanhado por um aviso semelhante a "Ah, sim, nós erramos ao coletar alguns desses pontos de dados - …

73 regression  outliers 

Para um estudo de simulação, eu tenho que gerar variáveis ​​aleatórias que mostram uma correlação pré-definida (população) com uma variável existente YYY. Examinei os Rpacotes copulae CDVineque podem produzir distribuições multivariadas aleatórias com uma determinada estrutura de dependência. No entanto, não é possível corrigir uma das variáveis ​​resultantes em uma …

71 r  correlation  random-variable  random-generation  independence  assumptions  random-variable  unbiased-estimator  regression  hypothesis-testing  heteroscedasticity  generalized-least-squares  distributions  networks  data-visualization  sas  reproducible-research  philosophical  time-series  variance  outliers  quality-control  mean  multilevel-analysis  average  weighted-mean  regression  confidence-interval  prediction-interval  correlation  matlab  matrix  data-mining  maximum-likelihood  r  time-series  survival  predictive-models 

Estou lidando com dados lineares com valores discrepantes, alguns dos quais estão a mais de 5 desvios-padrão da linha de regressão estimada. Estou procurando uma técnica de regressão linear que reduz a influência desses pontos. Até agora, o que fiz foi estimar a linha de regressão com todos os dados, …

50 regression  linear-model  outliers  robust  fused-lasso 

As pessoas costumam falar sobre como lidar com discrepantes nas estatísticas. O que me incomoda é que, até onde eu sei, a definição de um outlier é completamente subjetiva. Por exemplo, se a verdadeira distribuição de alguma variável aleatória for muito pesada ou bimodal, qualquer visualização padrão ou estatística resumida …

44 outliers  definition 

Comentários: Em primeiro lugar gostaria de dizer um grande obrigado ao autor do novo tsoutliers pacote que implementos de Chen e Liu detecção de séries temporais outlier, que foi publicado no Jornal da Associação Americana de Estatística em 1993 em software Open Source .RRR O pacote detecta iterativamente 5 tipos …

35 time-series  forecasting  arima  outliers 

Procurei uma maneira de remover discrepantes de um conjunto de dados e encontrei esta pergunta . Em alguns dos comentários e respostas a essa pergunta, no entanto, as pessoas mencionaram que é uma prática ruim remover valores discrepantes dos dados. No meu conjunto de dados, tenho vários valores discrepantes que …

33 outliers 

Eu li em algumas fontes, incluindo esta , que as florestas aleatórias não são sensíveis a outliers (da mesma forma que a regressão logística e outros métodos de ML são, por exemplo). No entanto, duas intuições me dizem o contrário: Sempre que uma árvore de decisão é construída, todos os …

33 random-forest  bootstrap  outliers  cart 

Encontrei este artigo que usa a detecção de anomalias de links para prever tópicos de tendências e achei incrivelmente intrigante: O artigo é "Descobrindo tópicos emergentes em fluxos sociais por meio da detecção de anomalias de links" . Gostaria de replicá-lo em um conjunto de dados diferente, mas não estou …

32 time-series  machine-learning  outliers  python  change-point 

Esta pergunta foi feita pelo meu amigo que não é conhecedor da Internet. Não tenho antecedentes estatísticos e tenho pesquisado na Internet esta questão. A questão é: é possível substituir os valores discrepantes pelo valor médio? se for possível, existe alguma referência / periódicos para apoiar esta declaração?

31 mean  outliers  robust  winsorizing