Perguntas com a marcação «outliers»

Tenho uma série temporal diária bastante previsível com sazonalidade semanal. Sou capaz de apresentar previsões que parecem bastante precisas (confirmadas pela validação cruzada) quando não há feriados. No entanto, quando há feriados, tenho os seguintes problemas: Na minha previsão, recebo números diferentes de zero para os feriados, mesmo que todos …

12 time-series  forecasting  arima  outliers 

Encontrei muitos artigos que afirmam que os métodos de aumento são sensíveis a valores discrepantes, mas nenhum artigo explica o porquê. Na minha experiência, os valores extremos são ruins para qualquer algoritmo de aprendizado de máquina, mas por que os métodos de aumento são particularmente sensíveis? Como os seguintes algoritmos …

12 machine-learning  svm  outliers  cart  boosting 

Estou trabalhando em estatísticas para compilações de software. Eu tenho dados para cada build em aprovação / reprovação e tempo decorrido e geramos ~ 200 deles / semana. A taxa de sucesso é fácil de agregar, posso dizer que 45% passaram em uma determinada semana. Mas também gostaria de agregar …

12 outliers  robust  average 

Estou tentando detectar valores anômalos em uma série temporal de dados climáticos com algumas observações ausentes. Pesquisando na web, encontrei muitas abordagens disponíveis. Dessas, a decomposição do stl parece atraente, no sentido de remover componentes de tendência e sazonais e estudar o restante. Lendo STL: um procedimento de decomposição de …

12 r  time-series  outliers  missing-data 

Nota: esta pergunta é um repost, pois minha pergunta anterior teve que ser excluída por razões legais. Ao comparar o PROC MIXED do SAS com a função lmedo nlmepacote no R, deparei-me com algumas diferenças bastante confusas. Mais especificamente, os graus de liberdade nos diferentes testes diferem entre PROC MIXEDe …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

Preciso obter um valor o mais preciso possível para o brilho de uma fonte de luz principalmente estável, dados os doze valores de luminosidade da amostra. O sensor é imperfeito, e a luz pode ocasionalmente "piscar" mais brilhante ou mais escura, o que pode ser ignorado, daí a minha necessidade …

12 classification  outliers  algorithms 

Estou tentando automatizar a detecção de outlier em séries temporais e usei uma modificação da solução proposta por Rob Hyndman aqui . Digamos, eu avalio as visitas diárias a um site de vários países. Para alguns países onde as visitas diárias são de algumas centenas ou milhares, meu método parece …

11 time-series  outliers  computational-statistics 

Eu estou usando o estimador usual para , mas eu noto que mesmo pequenas outliers 'em minha distribuição empírica, isto é, pequenos picos muito longe do centro, afetá-lo tremendamente. Existe um estimador de curtose mais robusto?K^=μ^4σ^4K^=μ^4σ^4\hat{K}=\frac{\hat{\mu}_4}{\hat{\sigma}^4}

11 outliers  robust  moments  kurtosis 

Eu tenho uma regressão logística de interceptação aleatória (devido a medições repetidas) e gostaria de fazer alguns diagnósticos, especificamente sobre discrepâncias e observações influentes. Eu olhei para resíduos para ver se há observações que se destacam. Mas também gostaria de ver algo como a distância de Cook ou DFFITS. Hosmer …

11 mixed-model  outliers  glmm  cooks-distance 

Estou escrevendo um script que analisa os tempos de execução dos processos. Não tenho certeza de sua distribuição, mas quero saber se um processo é executado "muito longo". Até agora, eu tenho usado três desvios padrão dos últimos tempos de execução (n> 30), mas me disseram que isso não fornece …

11 outliers  reliability  average 

Qual é a melhor maneira de selecionar automaticamente os recursos para detecção de anomalias? Eu normalmente trato a Detecção de Anomalias como um algoritmo em que os recursos são selecionados por especialistas humanos: o que importa é o intervalo de saída (como em "entrada anormal - saída anormal"); portanto, mesmo …

11 feature-selection  outliers 

Preciso escrever um programa para encontrar o ponto GPS médio de uma população de pontos. Na prática, acontece o seguinte: Todo mês, uma pessoa registra um ponto GPS do mesmo ativo estático. Devido à natureza do GPS, esses pontos diferem ligeiramente a cada mês. Às vezes, a pessoa comete um …

11 outliers  spatial 

A regressão pode ser usada para detecção externa. Entendo que existem maneiras de melhorar um modelo de regressão removendo os valores discrepantes. Mas o objetivo principal aqui não é ajustar um modelo de regressão, mas descobrir níveis usando regressão

11 regression  outliers 

Estou fazendo pesquisas no campo da resposta funcional dos ácaros. Gostaria de fazer uma regressão para estimar os parâmetros (taxa de ataque e tempo de manipulação) da função Rogers tipo II. Eu tenho um conjunto de dados de medidas. Como posso determinar melhor os valores discrepantes? Para minha regressão, uso …

11 r  outliers  nonlinear-regression 

Como o título diz, alguém conhece um livro bom e atualizado que cubra o pré-processamento de dados em geral e, especialmente, em técnicas de detecção fora de série? O livro não precisa se concentrar exclusivamente nisso, mas deve lidar exaustivamente com os tópicos acima mencionados - eu não ficaria feliz …

11 dataset  data-mining  references  outliers