R - QQPlot: como ver se os dados são normalmente distribuídos

Eu plotei isso depois de fazer um teste de normalidade Shapiro-Wilk. O teste mostrou que é provável que a população esteja normalmente distribuída. No entanto, como ver esse "comportamento" nesse enredo?

ATUALIZAR

Um histograma simples dos dados:

ATUALIZAR

O teste de Shapiro-Wilk diz:

" O teste mostrou que é provável que a população esteja normalmente distribuída " .

Não; não mostrou isso.

Os testes de hipótese não informam a probabilidade do nulo. Na verdade, você pode apostar que esse nulo é falso.

O gráfico QQ não fornece uma forte indicação de não normalidade (o gráfico é razoavelmente reto); talvez haja uma cauda esquerda ligeiramente mais curta do que você esperaria, mas isso realmente não importa muito.

O histograma como está provavelmente também não diz muito; também sugere uma cauda esquerda ligeiramente mais curta. Mas veja aqui

A distribuição populacional da qual seus dados são não será exatamente normal. No entanto, o gráfico QQ mostra que a normalidade é provavelmente uma aproximação razoavelmente boa.

Se o tamanho da amostra não fosse muito pequeno, provavelmente a falta de rejeição do Shapiro-Wilk estaria dizendo o mesmo.

Atualização: sua edição para incluir o valor real de Shapiro-Wilk é importante porque, de fato, isso indica que você rejeitaria o nulo em níveis significativos típicos. Esse teste indica que seus dados não são normalmente distribuídos e a assimetria leve indicada pelas plotagens é provavelmente o que está sendo detectado pelo teste. Para procedimentos típicos que podem assumir a normalidade da própria variável (o teste t de uma amostra é aquele que vem à mente), no que parece ser um tamanho de amostra razoavelmente grande, essa não normalidade moderada quase não terá consequências todos - um dos problemas com os testes de qualidade dos ajustes é mais provável que eles rejeitem exatamente quando não importa (quando o tamanho da amostra é grande o suficiente para detectar alguma modesta não normalidade); da mesma forma, é mais provável que deixem de rejeitar quando mais importa (quando o tamanho da amostra é pequeno).

Se os dados são normalmente distribuídos, os pontos no gráfico QQ-normal ficam em uma linha diagonal reta. Você pode adicionar essa linha ao gráfico de QQ com o comando qqline(x), onde xé o vetor de valores.

Exemplos de distribuição normal e não normal:

Distribuição normal

set.seed(42)
x <- rnorm(100)

O gráfico QQ-normal com a linha:

qqnorm(x); qqline(x)

Os desvios da linha reta são mínimos. Isso indica distribuição normal.

O histograma:

hist(x)

Distribuição não-normal (gama)

y <- rgamma(100, 1)

O gráfico QQ-normal:

qqnorm(y); qqline(y)

Os pontos seguem claramente outra forma além da linha reta.

O histograma confirma a não normalidade. A distribuição não tem a forma de sino, mas é inclinada positivamente (ou seja, a maioria dos pontos de dados está na metade inferior). Histogramas de distribuições normais mostram a maior frequência no centro da distribuição.

hist(y)

Algumas ferramentas para verificar a validade da suposição de normalidade em R

library(moments)
library(nortest)
library(e1071)

set.seed(777)
x <- rnorm(250,10,1)

# skewness and kurtosis, they should be around (0,3)
skewness(x)
kurtosis(x)

# Shapiro-Wilks test
shapiro.test(x)

# Kolmogorov-Smirnov test
ks.test(x,"pnorm",mean(x),sqrt(var(x)))

# Anderson-Darling test
ad.test(x)

# qq-plot: you should observe a good fit of the straight line
qqnorm(x)
qqline(x)

# p-plot: you should observe a good fit of the straight line
probplot(x, qdist=qnorm)

# fitted normal density
f.den <- function(t) dnorm(t,mean(x),sqrt(var(x)))
curve(f.den,xlim=c(6,14))
hist(x,prob=T,add=T)

Embora seja uma boa ideia verificar visualmente se sua intuição corresponde ao resultado de algum teste, você não pode esperar que isso seja fácil o tempo todo. Se as pessoas que tentam detectar o Bóson de Higgs confiariam apenas em seus resultados se pudessem avaliá-los visualmente, precisariam de um olho muito aguçado.

Especialmente com grandes conjuntos de dados (e, portanto, geralmente com poder crescente), as estatísticas tendem a captar a menor das diferenças, mesmo quando elas dificilmente são discerníveis a olho nu.

Dito isto: por normalidade, seu gráfico de QQ deve mostrar uma linha reta: eu diria que não. Existem curvas claras nas caudas e, mesmo perto do meio, há comoção. Visualmente, eu ainda posso estar disposto a dizer (dependendo do objetivo de verificar a normalidade) que esses dados são "razoavelmente" normais.

Observe no entanto: para a maioria dos propósitos em que você deseja verificar a normalidade, você precisa apenas da normalidade dos meios, em vez da normalidade das observações, portanto o teorema do limite central pode ser suficiente para resgatá-lo. Além disso: embora a normalidade seja frequentemente uma suposição de que você precisa verificar "oficialmente", muitos testes demonstraram ser bastante insensíveis a não ter essa suposição cumprida.

Gosto da versão do carro da biblioteca 'R' porque ela fornece não apenas a tendência central, mas também os intervalos de confiança. Fornece orientação visual para ajudar a confirmar se o comportamento dos dados é consistente com a distribuição hipotética.

library(car)

qqPlot(lm(prestige ~ income + education + type, data=Duncan), 
       envelope=.99)

alguns links:

• Interpretação QQ plot
• http://exploringdatablog.blogspot.com/2011/03/many-uses-of-qq-plots.html
• https://stackoverflow.com/questions/19392066/simultaneous-null-band-for-uniform-qq-plot-in-r
• https://philmikejones.wordpress.com/2014/05/12/regression-diagnostics-r/