Por que todos os testes de normalidade rejeitariam a hipótese nula?

O teste de Kolgomorov-Smirnov, o teste de Shapiro, etc ... todos rejeitam a hipótese de que uma distribuição é normal. No entanto, quando planto os quantis normais ee histograma, os dados são claramente normais. Talvez porque o poder dos testes seja alto?

O tamanho da amostra é de cerca de 650. Portanto, pelo menos um desses testes não deve rejeitar a hipótese nula?

Resultados:

           Kolmogorov-Smirnov    D          0.05031          Pr > D       <0.010
           Cramer-von Mises      W-Sq       0.30003          Pr > W-Sq    <0.005
           Anderson-Darling      A-Sq       1.66965          Pr > A-Sq    <0.005
           Chi-Square            Chi-Sq  3250.43596     18   Pr > Chi-Sq  <0.001

O teste de normalidade é uma perda de tempo e seu exemplo ilustra o porquê. Com amostras pequenas, o teste de normalidade tem baixo poder; portanto, as decisões sobre quais modelos estatísticos devem ser baseados devem ser baseadas em conhecimento a priori . Nesses casos, a falha em rejeitar o nulo não prova que o nulo é aproximadamente verdadeiro no nível da população.

Quando você tem amostras grandes, os testes de normalidade se tornam ridiculamente poderosos, mas não dizem nada que você já não sabia. Nenhuma quantidade real é exatamente distribuída normalmente. A distribuição normal é apenas uma abstração matemática que é uma aproximação suficientemente boa em muitos casos. A prova mais simples disso é que não há quantidade real (pelo menos nenhuma que eu possa pensar) que possa ter qualquer número real como valor. Por exemplo, existem apenas tantas moléculas no universo. Há apenas tantos dólares no suprimento de dinheiro. A velocidade da luz é finita. Os computadores podem armazenar apenas números de tamanho finito; portanto, mesmo que algo tenha suporte para todos os números reais, você não poderá mensurá-lo.

O ponto é que você já sabia que seus dados não eram exatamente distribuídos normalmente, mas os testes de normalidade não dizem nada sobre como os dados não são normais. Eles não dão absolutamente nenhuma dica sobre se seus dados são distribuídos aproximadamente normalmente, de modo que os métodos de inferência estatística que assumem a normalidade dariam respostas corretas. Ironicamente, testes comuns (por exemplo, o teste T e ANOVA) que assumem normalidade são mais robustos à não normalidade em amostras de grandes tamanhos.

Isso não me surpreende - com um tamanho de amostra grande o suficiente, qualquer bom teste deve rejeitar a hipótese nula, a menos que a distribuição de geração de dados seja realmente (e exatamente) normal.

Com o teste de hipóteses, geralmente se interessa em encontrar um teste "poderoso", que pode encontrar desvios muito pequenos da hipótese nula, com o mínimo de dados possível.

Tente executar o teste com uma subamostra de tamanho 20, 50, 100, 200 e veja em que tamanho os testes começam a ser rejeitados. É fácil ver se um histograma é simétrico e geralmente em forma de sino, mas as caudas da distribuição são mais difíceis de avaliar a olho. Talvez haja dados discrepantes nos dados que estão causando a rejeição dos testes? Se houver, veja o que acontece quando você os remove.

A causa provável é que seus dados são levemente não normais e o tamanho da amostra é grande o suficiente para revelar isso.

Se a distribuição realmente for normal, ela deverá passar normalmente nesses testes, como no exemplo R a seguir, onde todos os testes, exceto um, são aprovados.

> require(nortest)
> 
> set.seed(1)
> dat <- rnorm(650,mean=100, sd=5)
> 
> ad.test(dat)

        Anderson-Darling normality test

data:  dat 
A = 0.439, p-value = 0.2924

> cvm.test(dat)

        Cramer-von Mises normality test

data:  dat 
W = 0.0882, p-value = 0.1619

> lillie.test(dat)

        Lilliefors (Kolmogorov-Smirnov) normality test

data:  dat 
D = 0.0334, p-value = 0.08196

> pearson.test(dat)

        Pearson chi-square normality test

data:  dat 
P = 37.96, p-value = 0.035

> sf.test(dat)

        Shapiro-Francia normality test

data:  dat 
W = 0.9978, p-value = 0.5186

> shapiro.test(dat)

        Shapiro-Wilk normality test

data:  dat 
W = 0.9981, p-value = 0.675

Você pode querer fazer um qqplot e, se estiver próximo o suficiente de uma linha reta, poderá decidir tratá-lo como estando próximo o suficiente da normalidade para seus propósitos. Depende bastante de quais são esses objetivos.

Deixe-me discordar da resposta do dsimcha: "O teste de normalidade é uma perda de tempo e seu exemplo ilustra o porquê.". O teste de normalidade nunca é uma perda de tempo, você sempre pode aprender com seus dados. Além disso, existem algumas condições que você deve testar antes de realizar alguma análise (por exemplo, ANOVA, regressão etc.). É melhor testar tamanhos de amostra grandes e relativos com plotagem (QQplot, histograma). Nesses casos, a visualização fornece muito mais informações sobre comportamento multimodal e assim por diante.

A ANOVA e a regressão são robustas à não normalidade ao lidar com tamanhos grandes de amostras, mas o principal tipo de dados que causa problemas são as amostras de dados multimodais.

Com amostras pequenas, o teste Kolgomorov-Smirnov é a melhor opção, principalmente devido à sua sensibilidade.

Discordo um pouco das outras respostas postadas até agora: esses testes de normalidade têm notoriamente pouco poder, mesmo com amostras relativamente grandes, pelo menos para certos tipos de desvios.

Aqui está um exemplo rápido. Eu criei uma mistura de duas normais cujos meios são separados por um sd inteiro.

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(c(rnorm(325, mean = 0), rnorm(325, mean = 1)))$p.value
)
mean(reps < .05)
[1] 0.0525

Considerando que ele "detectaria" desvios da normalidade em 5% das vezes, mesmo que fosse realmente normal, isso não é muito impressionante.

Aqui está outro exemplo: eu adiciono ruído uniforme em uma faixa do tamanho de dois desvios padrão. Este é visivelmente não normal.

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(rnorm(650) + 2 * runif(650))$p.value
)
mean(reps < .05)
[1] 0.0523

Novamente, energia extremamente baixa para uma grande partida da normalidade.

Tem certeza de que está lendo o qqplot corretamente? Você poderia enviá-lo para que pudéssemos vê-lo?

Editar, por outro lado, a regressão é bastante robusta à não normalidade, então eu concordo que a inspeção visual provavelmente será suficiente para a maioria dos propósitos.