O teste Shapiro Wilk W é um tamanho de efeito?

Eu quero evitar o uso indevido de testes de normalidade, onde um tamanho de amostra grande o suficiente destacará qualquer leve não normalidade. Eu quero poder dizer que uma distribuição é "suficientemente normal".

Quando a população não é normal, o valor de p para o teste Shapiro-Wilk tende a 0 à medida que o tamanho da amostra aumenta. O valor p não é útil para decidir se uma distribuição é "suficientemente normal".

Penso que uma solução seria medir o tamanho do efeito da não normalidade e rejeitar qualquer coisa que seja mais não normal do que um limite.

O teste de Shapiro-Wilk produz um teste estatístico . Essa é uma maneira de medir o tamanho do efeito da não normalidade? $W$

Eu testei isso em R, fazendo um teste shapiro wilk em amostras retiradas de uma distribuição uniforme. O número de amostras variou de 10 a 5000, os resultados são plotados abaixo. O valor de W converge para uma constante, não tende para . Não tenho certeza se é inclinado para amostras pequenas, parece baixo para amostras pequenas. Se é uma estimativa tendenciosa do tamanho do efeito, isso pode ser um problema, se eu quiser aceitar algo abaixo de como "normal o suficiente". $1$ $W$ $W$ $W=0.1$

Minhas duas perguntas são:

é uma medida do tamanho do efeito de não normalidade? $W$
O é tendencioso para amostras pequenas? $W$

hypothesis-testing normality-assumption effect-size

— Hugh
fonte

Como você sabe, é uma estatística de teste. Na maioria dos casos (todos os testes consistentes), uma estatística de teste não é um estimador de efeitos adequado, pois reflete o tamanho da amostra, enquanto o estimador de efeitos deve ser independente dele. Pense em um teste assintótico para testar a média zero sob o teorema do limite central: a distribuição aproximada é a mesma para todos os ; portanto, a estatística do teste contém até todas as informações sobre o tamanho da amostra. Isso torna a estatística do teste inadequada como estimador de efeitos. $W$ $n$

Para , é semelhante (embora a distribuição aproximada dependa também do tamanho da amostra). O limite inferior para é , onde depende é a expectativa para a estatística de menor ordem. $W$ $W$ $\frac{a_1^2n}{(n-1)}$ $a_1$

Portanto, não, não é um estimador de efeito adequado.

De fato, acho que você ainda não tem certeza do que procura, pois o termo "efeito" é um pouco mais difícil do que no mundo paramétrico usual dos parâmetros unidimensionais. Aqui, o efeito bruto de não ser normalmente distribuído é dimensional infinito: Cada subconjunto mensurável de pode ter uma probabilidade diferente do modelo de distribuição normal. Para um efeito unidimensional, você precisa ponderá-lo de alguma forma e estar ciente das consequências de vários pesos para a aplicação pretendida. Dessa forma, você decidiria se, por exemplo, uma certa distribuição bimodal com caudas gaussianas é mais normal do que uma certa distribuição unimodal com caudas pesadas. De fato, negociar o comportamento de cauda contra o comportamento de não cauda pode ser a questão mais relevante para inventar um efeito adequado. $\mathbb{R}$

Então, se for muito mais fácil encontrar um estimador para esse efeito específico.

— Horst Grünbusch
fonte

Eu não acho que o teste de Shapiro-Wilk "analise" a assimetria e a curtose como tal; ele não se baseia em nenhum dos dois e pode rejeitar felizmente casos não normais que apresentam a mesma assimetria e curtose do normal (para os quais um teste baseado apenas na assimetria e curtose seria insensível).

— Glen_b -Reinstala Monica

É verdade, obrigado, confundi em minha memória o que Shapiro e Wilk escreveram na página 593. A distorção não normal e a curtose serão detectadas, não se diz que a não normalidade não será detectada se a assimetria e a curtose forem normais. O efeito é ainda mais "não paramétrico".

— Horst Grünbusch

Não tenho certeza sobre o seu raciocínio. Para testar para uma distribuição normal, o tamanho do efeito é , a estimativa do tamanho do efeito converge com o aumento do tamanho da amostra. A estatística do teste é que diverge para o tamanho da amostra. Podemos redefinir a estatística do teste para e, em seguida, contabilizar o tamanho da amostra no cálculo do valor de p. Esse era meu entendimento de , que converge para um único valor para tamanhos de amostra grandes, sugerindo que ele é independente do tamanho da amostra, mas o cálculo de responsável pelo tamanho da amostra.

μ = 0

$\mu=0$

\frac{μ}{σ}

$\frac{\mu}{\sigma}$

\frac{\bar{x} \sqrt{n}}{s}

$\frac{\bar{x}\sqrt{n}}{s}$

\frac{\bar{x}}{s}

$\frac{\bar{x}}{s}$

W

$W$

p

$p$

— Hugh

Talvez seja preciso primeiro definir o que é um efeito. é um estimador consistente para seus valores esperados assintóticos (o que o torna adequado para um teste consistente), mas a expectativa em si parece depender de (lema 4). Portanto, não é um estimador de efeitos ou é tendencioso. Presumo que seja definido um efeito nas distribuições, não nos tamanhos das amostras, e sim, o tamanho infinito da amostra também é um tamanho da amostra.

W

$W$

n

$n$

W

$W$

— Horst Grünbusch