Perguntas com a marcação «outliers»

Seguindo a minha pergunta aqui , pergunto-me se há pontos de vista fortes a favor ou contra o uso do desvio padrão para detectar discrepâncias (por exemplo, qualquer ponto de dados com mais de 2 desvios padrão é discrepante). Eu sei que isso depende do contexto do estudo, por exemplo, …

27 outliers 

Existem muitos posts neste SE que discutem abordagens robustas para a análise de componentes principais (PCA), mas não consigo encontrar uma única boa explicação de por que o PCA é sensível a discrepâncias em primeiro lugar.

26 machine-learning  pca  outliers 

Vindo do campo da visão computacional, frequentemente utilizei o método RANSAC (Random Sample Consensus) para ajustar modelos a dados com muitos outliers. No entanto, nunca o vi usado por estatísticos, e sempre tive a impressão de que não era considerado um método "estatisticamente correto". Por que? É de natureza aleatória, …

26 outliers  bootstrap  robust 

Comecei a trabalhar nos tutoriais de mineração de dados estatísticos de Andrew Moore (altamente recomendado para quem mais se aventurar nesse campo). Comecei lendo este PDF extremamente interessante, intitulado "Visão geral introdutória dos algoritmos de detecção de anomalias baseados em séries temporais", nos quais Moore acompanha muitas das técnicas usadas …

25 time-series  outliers  signal-processing  wavelet 

Sob uma definição clássica de um outlier como um ponto de dados fora do IQR de 1,5 * do quartil superior ou inferior, existe uma suposição de uma distribuição não distorcida. Para distribuições assimétricas (Exponencial, Poisson, Geométrica, etc.), é a melhor maneira de detectar um outlier analisando uma transformação da …

24 distributions  outliers  skewness  exponential  interquartile 

Na análise de regressão linear, analisamos valores extremos, investigamos a multicolinearidade, testamos a heterocedasticidade. A questão é: existe alguma ordem para aplicá-las? Quero dizer, temos que analisar discrepantes muito primeiro e depois examinar a multicolinearidade? Ou reverter? Existe alguma regra prática sobre isso?

24 regression  multiple-regression  outliers 

Se eu tiver uma amostra de amostra normal multivariada X1,…,Xn∼Np(μ,Σ)X1,…,Xn∼Np(μ,Σ)X_1, \ldots, X_n \sim N_p(\mu,\Sigma) e definir d2i(b,A)=(Xi−b)′A−1(Xi−b)di2(b,A)=(Xi−b)′A−1(Xi−b)d_i^2(b,A) = (X_i - b)' A^{-1} (X_i - b) (que é uma distância de Mahalanobis [ao quadrado] de um ponto de amostra ao vetor aaa usando a matriz para ponderação),AAAqual é a distribuição de …

23 multivariate-analysis  outliers 

Estou executando várias análises de regressão e não tenho certeza se os valores discrepantes nos meus dados devem ser excluídos. Os dados que me preocupam aparecem como "círculos" nos boxplots do SPSS, no entanto, não existem asteriscos (o que me faz pensar que eles não são "tão ruins"). Os casos …

23 regression  outliers 

Eu tenho o que eu ingenuamente pensei ser um problema bastante direto que envolve a detecção de valores extremos para muitos conjuntos diferentes de dados de contagem. Especificamente, quero determinar se um ou mais valores em uma série de dados de contagem são maiores ou menores que o esperado em …

21 outliers  count-data  fitting 

Como decidir a assimetria observando um boxplot construído com esses dados: 340, 300, 520, 340, 320, 290, 260, 330 Um livro diz: "Se o quartil inferior estiver mais distante da mediana do que o quartil superior, a distribuição será distorcida negativamente". Várias outras fontes disseram mais ou menos o mesmo. …

19 outliers  skewness  boxplot 

Realizamos um teste de divisão de um novo recurso do produto e queremos avaliar se o aumento da receita é significativo. Definitivamente, nossas observações não são distribuídas normalmente (a maioria de nossos usuários não gasta e, naquelas que gastam, é fortemente direcionada a muitos pequenos gastadores e alguns grandes). Decidimos …

19 bootstrap  outliers 

tl; dr Qual é a maneira recomendada de lidar com discretedados ao realizar a detecção de anomalias? Qual é a maneira recomendada de lidar com categoricaldados ao realizar a detecção de anomalias? Esta resposta sugere o uso de dados discretos para filtrar apenas os resultados. Talvez substitua o valor da …

18 machine-learning  categorical-data  outliers  discrete-data  anomaly-detection 

A definição padrão de um outlier para um gráfico Box e Whisker é pontos fora do intervalo , onde e é o primeiro quartil e é o terceiro quartil dos dados. I Q R = Q 3 - Q 1 Q 1 Q 3{ Q 1 - 1,5 IQ R …

17 outliers  normality-assumption  qq-plot  boxplot 

Suponha que eu tenha distribuído dados normalmente. Para cada elemento dos dados, quero verificar quantos SDs estão longe da média. Pode haver um erro nos dados (provavelmente apenas um, mas também pode haver dois ou três) ou não, mas esse erro é basicamente o que estou procurando. Faz sentido excluir …

17 cross-validation  standard-deviation  mean  outliers 

Eu poderia usar algumas orientações sobre a apresentação de alguns dados. Este primeiro gráfico é uma comparação caso-controle para a citocina IL-10. Eu configurei manualmente o eixo y para incluir 99% dos dados. A razão pela qual eu defino isso manualmente é porque o grupo de casos tem uma discrepância …

17 r  data-visualization  outliers  boxplot  presentation