Como remover outliers de um conjunto de dados

Eu tenho alguns dados multivariados de beleza versus idades. As idades variam de 20 a 40 anos em intervalos de 2 (20, 22, 24 ... 40) e, para cada registro de dados, recebem uma idade e uma classificação de beleza de 1 a 5. Quando faço boxplots desses dados (idades no eixo X, classificações de beleza no eixo Y), há alguns valores discrepantes plotados fora dos bigodes de cada caixa.

Quero remover esses outliers do próprio quadro de dados, mas não tenho certeza de como R calcula outliers para seus gráficos de caixa. Abaixo está um exemplo de como meus dados podem ser.

OK, você deve aplicar algo assim ao seu conjunto de dados. Não substitua e salve ou você destruirá seus dados! E, aliás, você (quase) nunca deve remover outliers de seus dados:

remove_outliers <- function(x, na.rm = TRUE, ...) {
  qnt <- quantile(x, probs=c(.25, .75), na.rm = na.rm, ...)
  H <- 1.5 * IQR(x, na.rm = na.rm)
  y <- x
  y[x < (qnt[1] - H)] <- NA
  y[x > (qnt[2] + H)] <- NA
  y
}

Para vê-lo em ação:

set.seed(1)
x <- rnorm(100)
x <- c(-10, x, 10)
y <- remove_outliers(x)
## png()
par(mfrow = c(1, 2))
boxplot(x)
boxplot(y)
## dev.off()

E, mais uma vez, você nunca deve fazer isso sozinho, os outliers foram feitos para ser! =)

EDIT: Eu adicionei na.rm = TRUEcomo padrão.

EDIT2:quantile Função removida , adição de subscritos, tornando a função mais rápida! =)

Ninguém postou a resposta mais simples:

x[!x %in% boxplot.stats(x)$out]

Veja também: http://www.r-statistics.com/2011/01/how-to-label-all-the-outliers-in-a-boxplot/

Use outline = FALSEcomo uma opção ao fazer o boxplot (leia a ajuda!).

> m <- c(rnorm(10),5,10)
> bp <- boxplot(m, outline = FALSE)

A função boxplot retorna os valores usados ​​para fazer a plotagem (que na verdade é feita por bxp ():

bstats <- boxplot(count ~ spray, data = InsectSprays, col = "lightgray") 
#need to "waste" this plot
bstats$out <- NULL
bstats$group <- NULL
bxp(bstats)  # this will plot without any outlier points

De propósito, não respondi à pergunta específica porque considero uma má prática estatística remover "outliers". Eu considero uma prática aceitável não representá-los em um boxplot, mas removê-los apenas porque excedem algum número de desvios-padrão ou algum número de larguras interquartis é uma mutilação sistemática e não científica do registro observacional.

Pesquisei pacotes relacionados à remoção de outliers e encontrei este pacote (surpreendentemente chamado de "outliers"!): Https://cran.r-project.org/web/packages/outliers/outliers.pdf
se você ler, veja diferentes formas de remoção de outliers e entre elas achei a rm.outliermais conveniente de usar e como diz no link acima: "Se o outlier for detectado e confirmado por testes estatísticos, esta função pode removê-lo ou substituí-lo pela média ou mediana da amostra" e também aqui está a parte de uso da mesma fonte:
" Uso

rm.outlier(x, fill = FALSE, median = FALSE, opposite = FALSE)

Argumentos
x um conjunto de dados, mais frequentemente um vetor. Se o argumento for um dataframe, o outlier será removido de cada coluna por sapply. O mesmo comportamento é aplicado por apply quando a matriz é fornecida.
preencher Se definido como TRUE, a mediana ou média é colocada em vez de outlier. Caso contrário, o (s) outlier (s) é / são simplesmente removidos.
mediana Se definido como TRUE, a mediana é usada em vez da média na substituição de outlier. oposto se definido como TRUE, dá o valor oposto (se o maior valor tem diferença máxima da média, ele dá o menor e vice-versa) "

x<-quantile(retentiondata$sum_dec_incr,c(0.01,0.99))
data_clean <- data[data$attribute >=x[1] & data$attribute<=x[2],]

Acho muito fácil remover outliers. No exemplo acima, estou apenas extraindo 2 percentis a 98 percentis dos valores de atributo.

Não:

z <- df[df$x > quantile(df$x, .25) - 1.5*IQR(df$x) & 
        df$x < quantile(df$x, .75) + 1.5*IQR(df$x), ] #rows

realizar essa tarefa com bastante facilidade?

Somando-se a sugestão de @sefarkas e usando quantis como pontos de corte, pode-se explorar a seguinte opção:

newdata <- subset(mydata,!(mydata$var > quantile(mydata$var, probs=c(.01, .99))[2] | mydata$var < quantile(mydata$var, probs=c(.01, .99))[1]) ) 

Isso removerá os pontos pontos além do 99º quantil. Cuidado deve ser tomado como o que aL3Xa estava dizendo sobre como manter valores discrepantes. Deve ser removido apenas para obter uma visão conservadora alternativa dos dados.

Uma maneira de fazer isso é

my.NEW.data.frame <- my.data.frame[-boxplot.stats(my.data.frame$my.column)$out, ]

ou

my.high.value <- which(my.data.frame$age > 200 | my.data.frame$age < 0) 
my.NEW.data.frame <- my.data.frame[-my.high.value, ]

Os valores discrepantes são bastante semelhantes aos picos, então um detector de pico pode ser útil para identificar valores discrepantes. O método descrito aqui tem um desempenho muito bom usando z-scores. A animação na parte inferior da página ilustra o método de sinalização em outliers, ou picos.

Os picos nem sempre são iguais aos outliers, mas são semelhantes com frequência.

Um exemplo é mostrado aqui: Este conjunto de dados é lido de um sensor por meio de comunicações seriais. Erros ocasionais de comunicação serial, erro do sensor ou ambos levam a pontos de dados repetidos e claramente errados. Não há valor estatístico neste ponto. Eles são indiscutivelmente não outliers, são erros. O detector de pico de pontuação z foi capaz de sinalizar pontos de dados espúrios e gerou um conjunto de dados limpo resultante:

Experimente isso. Alimente sua variável na função e salve o / p na variável que conteria os outliers removidos

outliers<-function(variable){
    iqr<-IQR(variable)
    q1<-as.numeric(quantile(variable,0.25))
    q3<-as.numeric(quantile(variable,0.75))
    mild_low<-q1-(1.5*iqr)
    mild_high<-q3+(1.5*iqr)
    new_variable<-variable[variable>mild_low & variable<mild_high]
    return(new_variable)
}