Como executar um teste usando R para ver se os dados seguem a distribuição normal

Eu tenho um conjunto de dados com a seguinte estrutura:

a word | number of occurrence of a word in a document | a document id 

Como posso executar um teste para distribuição normal em R? Provavelmente é uma pergunta fácil, mas eu sou um novato em R.

Se entendi sua pergunta corretamente, para testar se as ocorrências de palavras em um conjunto de documentos seguem uma distribuição Normal, basta usar um teste shapiro-Wilk e alguns qqplots. Por exemplo,

## Generate two data sets
## First Normal, second from a t-distribution
words1 = rnorm(100); words2 = rt(100, df=3)

## Have a look at the densities
plot(density(words1));plot(density(words2))

## Perform the test
shapiro.test(words1); shapiro.test(words2)

## Plot using a qqplot
qqnorm(words1);qqline(words1, col = 2)
qqnorm(words2);qqline(words2, col = 2)

Os comandos qqplot fornecem:

Você pode ver que o segundo conjunto de dados claramente não é Normal pelas caudas pesadas ( Mais informações ).

No teste de normalidade Shapiro-Walk, o valor p é grande para o primeiro conjunto de dados (> .9), mas muito pequeno para o segundo conjunto de dados (<.01). Isso levará você a rejeitar a hipótese nula pelo segundo.

Supondo que seu conjunto de dados seja chamado wordse tenha uma countscoluna, você pode plotar o histograma para ter uma visualização da distribuição:

hist(words$counts, 100, col="black")

onde 100 é o número de posições

Você também pode fazer um gráfico QQ normal usando

qqnorm(words$counts)

Por fim, você também pode usar o teste Shapiro-Wilk para normalidade

shapiro.test(word$counts)

Embora, observe esta discussão: Teste de normalidade: 'Essencialmente inútil?'

Nenhum teste mostrará que seus dados têm uma distribuição normal - somente será capaz de mostrar quando os dados forem suficientemente inconsistentes com o normal e você rejeitará o nulo.

Mas as contagens não são normais, são números inteiros positivos - qual é a probabilidade de uma observação de uma distribuição normal ter um valor que não é um número inteiro? (... esse é um evento de probabilidade 1).

Por que você testaria a normalidade neste caso? É obviamente falso.

[Em alguns casos, pode não ser necessariamente importante que você saiba que seus dados não são realmente normais. Dados reais nunca (ou quase nunca) serão realmente extraídos de uma distribuição normal.]

Se você realmente precisa fazer um teste, o teste Shapiro-Wilk ( ?shapiro.test) é um bom teste geral de normalidade, amplamente utilizado.

Uma maneira mais formal de observar a normalidade é testar se a curtose e a inclinação são significativamente diferentes de zero.

Para fazer isso, precisamos obter:

kurtosis.test <- function (x) {
m4 <- sum((x-mean(x))^4)/length(x)
s4 <- var(x)^2
kurt <- (m4/s4) - 3
sek <- sqrt(24/length(x))
totest <- kurt/sek
pvalue <- pt(totest,(length(x)-1))
pvalue 
}

para curtose e:

skew.test <- function (x) {
m3 <- sum((x-mean(x))^3)/length(x)
s3 <- sqrt(var(x))^3
skew <- m3/s3
ses <- sqrt(6/length(x))
totest <- skew/ses
pt(totest,(length(x)-1))
pval <- pt(totest,(length(x)-1))
pval
}

Skewness.

Ambos os testes são unilaterais, portanto, você precisará multiplicar o valor-p por 2 para se tornar bilateral. Se o seu valor p for maior que um, você precisará usar 1-kurtosis.test () em vez de kurtosis.test.

Se você tiver outras perguntas, envie um email para j.bredman@gmail.com

Além do teste de Shapiro-Wilk do pacote de estatísticas, o pacote nortest (disponível no CRAN) fornece outros testes de normalidade.

Usando o nortestpacote de R, esses testes podem ser realizados:

• Realizar teste de normalidade Anderson-Darling

  ad.test(data1)

• Realize o teste de Cramér-von Mises para normalidade

  cvm.test(data1)

• Realize o teste qui-quadrado de Pearson para normalidade

  pearson.test(data1)

• Realize o teste Shapiro-Francia para normalidade

  sf.test(data1)

Muitos outros testes podem ser feitos usando o normtestpacote. Veja a descrição em https://cran.r-project.org/web/packages/normtest/normtest.pdf