Diferenças na definição da curtose e sua interpretação

Recentemente, percebi que existem diferenças nos valores de curtose fornecidos pelo SPSS e Stata.

Consulte http://www.ats.ucla.edu/stat/mult_pkg/faq/general/kurtosis.htm

Meu entendimento é que a interpretação do mesmo seria, portanto, diferente.

Algum conselho sobre como lidar com isso?

— Cesare Camestre
fonte

Eu conhecia as duas primeiras fórmulas e é muito fácil diferenciá-las; Eu não tinha visto a terceira fórmula.

— Peter Flom - Restabelece Monica

Respostas:

As três fórmulas

Três fórmulas para a curtose são geralmente usadas por diferentes programas. Vou estado todas as três fórmulas ( , e ) e programas que os utilizam. $g_{2}$ $G_{2}$ $b_{2}$

A primeira fórmula e a definição típica usada em muitos livros didáticos é (esta é a segunda fórmula no link que você forneceu) em que denota os momentos da amostra :

g_{2} = \frac{m_{4}}{m_{2}^{2}}

$g_{2}=\frac{m_{4}}{m_{2}^{2}}$

m_{r}

$m_{r}$

m_{r} = \frac{1}{n} \sum (x_{i} - \bar{x})^{r}

$m_{r}=\frac{1}{n}\sum(x_{i}-\bar{x})^{r}$

Às vezes, um termo de correção de -3 é adicionado a esta fórmula para que uma distribuição normal tenha uma curtose de 0. A fórmula de curtose com um termo de -3 é chamada de curtose excessiva (a primeira fórmula no link que você forneceu).

A segunda fórmula é (usada pelo SAS, SPSS e MS Excel; esta é a terceira fórmula no link que você forneceu)

G_{2} = \frac{k_{4}}{k_{2}^{2}} = \frac{n - 1}{(n - 2) (n - 3)} [(n + 1) g_{2} + 6]

$G_{2} = \frac{k_{4}}{k_{2}^{2}}= \frac{n-1}{(n-2)(n-3)}\left[(n+1)g_{2}+6\right]$

onde é a curtose, conforme definido na primeira fórmula. $g_{2}$

A terceira fórmula é (usada pelo MINITAB e BMDP)

b_{2} = \frac{m_{4}}{s^{4}} - 3 = {(\frac{n - 1}{n})}^{2} \frac{m_{4}}{m_{2}^{2}} - 3

$b_{2}=\frac{m_{4}}{s^{4}}-3=\left(\frac{n-1}{n}\right)^{2}\frac{m_{4}}{m_{2}^{2}}-3$

onde é a variação da amostra imparcial : $s^2$

s^{2} = \frac{1}{n - 1} \sum (x_{i} - \bar{x})^{2}

$s^2=\frac{1}{n-1}\sum(x_{i}-\bar{x})^2$

Na Rcurtose pode ser calculada usando a kurtosisfunção do e1071pacote (link aqui ). A opção typedetermina qual das três fórmulas é usada para os cálculos (1 = , 2 = , 3 = ). $g_{2}-3$ $G_{2}$ $b_{2}$

Esses dois artigos discutem e comparam todas as três fórmulas: primeiro , segundo .

Resumo das diferenças entre as fórmulas

Usando , uma distribuição normal tem um valor de curtose de 3, enquanto nas fórmulas que envolvem um termo de correção -3 (ie e ), uma distribuição normal tem um excesso de curtose de 0. $g_{2}$ $G_{2}$ $b_{2}$
$G_{2}$ é a única fórmula que gera estimativas imparciais para amostras normais (ou seja, a expectativa de abaixo da normalidade é zero, ou ). $G_{2}$ $\mathbb{E}(G_{2})=0$
Para amostras grandes, a diferença entre as fórmulas é insignificante e a escolha não importa muito.
Para amostras pequenas de uma distribuição normal, a relação das três fórmulas em termos dos erros quadráticos médios (MSE) é: . Então tem o menor e o maior (embora apenas seja imparcial). Isso ocorre porque possui a maior variação das três fórmulas: . $\operatorname{mse}(g_{2})<\operatorname{mse}(b_{2})<\operatorname{mse}(G_{2})$ $g_{2}$ $G_{2}$ $G_{2}$ $G_{2}$ $\operatorname{Var}(b_{2})<\operatorname{Var}(g_{2})<\operatorname{Var}(G_{2})$
Para amostras pequenas de distribuições não normais , a relação das três fórmulas em termos de viés é: . Em termos de erros médios ao quadrado: . Portanto, possui o menor erro quadrático médio e o menor viés das três fórmulas. tem o maior erro quadrado médio e viés. $\operatorname{bias}(G_{2})<\operatorname{bias}(g_{2})<\operatorname{bias}(b_{2})$ $\operatorname{mse}(G_{2})<\operatorname{mse}(g_{2})<\operatorname{mse}(b_{2})$ $G_{2}$ $b_{2}$
Para amostras grandes ( ) de distribuições não normais $n>200$ , a relação das três fórmulas em termos de viés é: . Em termos de erros médios ao quadrado: . $\operatorname{bias}(G_{2})<\operatorname{bias}(g_{2})<\operatorname{bias}(b_{2})$ $\operatorname{mse}(b_{2})<\operatorname{mse}(g_{2})<\operatorname{mse}(G_{2})$

Veja também a página da Wikipedia e a página do MathWorld sobre curtose.

— COOL
fonte

Eu chamaria isso de uma interpretação clara e agradável da "história de sempre". Eu acrescentaria que os termos leptokurtic, mesokurtic, platykurtic são apenas bagagem que devemos deixar para trás no século 20: temos uma medida em que devemos pensar quantitativamente. Mais seriamente, a interpretação atingiu o topo e o topo simplesmente não faz justiça à grande variação nas possíveis formas de distribuição, mesmo aquelas que são simétricas. Por fim, o viés na prática não é muito ruim, a menos que você esteja jogando com amostras inapropriadamente pequenas, mas a variação realmente é!

— Nick Cox

Você poderia esclarecer o item de resumo # 2? Evidentemente, é uma estatística de amostra, mas obviamente não é identicamente zero para nenhuma distribuição que não seja degenerada. Talvez você quisesse dizer que a expectativa é zero? (BTW, o que é " " em sua fórmula? talvez?)

G_{2}

$G_2$

γ_{2}

$\gamma_2$

g_{2}

$g_2$

— whuber

@ whuber: Sim, é a expectativa de que é zero, é claro. O foi retirado de uma resposta anterior e deve ser (alterado agora); Eu editei minha resposta bastante.

G_{2}

$G_{2}$

γ_{2}

$\gamma_{2}$

g_{2}

$g_{2}$

— COOLSerdash

OK, parece melhor. Eu vou votar novamente, mas espero que você eventualmente remova a frase "Para uma distribuição normal ".

G_{2} = 0

$G_2=0$

— whuber

O link em questão também fala sobre SAS. Mas, na verdade, nada nesta questão, exceto possivelmente o próprio foco do pôster, o limita a esses programas nomeados em particular.

Penso que precisamos separar aqui tipos de problemas bastante diferentes, alguns dos quais são ilusórios e outros genuínos.

Alguns programas subtraem 3, de modo que a medida da curtose relatada é 3 para variáveis gaussianas / normais sem subtração e 0 com subtração. Eu já vi pessoas intrigadas com isso, muitas vezes quando a diferença acaba sendo 2,9999 e não exatamente 3.
Alguns programas usam fatores de correção projetados para garantir que a curtose seja estimada sem viés. Esses fatores de correção se aproximam de 1 quando o tamanho da amostra aumenta. Como a curtose não é bem estimada em pequenas amostras, isso não deve ser motivo de grande preocupação. $n$

Portanto, há um pequeno problema de fórmulas, sendo o número 1 um negócio muito maior que o número 2, mas ambos menores, se compreendidos. O conselho é claramente examinar a documentação do programa que você está usando e, se não houver documentação explicando esse tipo de detalhe, abandone o programa imediatamente. Mas um caso de teste tão simples quanto uma variável (1, 2) produz curtose de 1 ou 4, dependendo apenas do número 1 (sem fator de correção).

A pergunta então é sobre interpretação, mas esse é um assunto muito mais aberto e controverso.

Antes de chegarmos à principal área de discussão, uma dificuldade frequentemente relatada, mas pouco conhecida, é que as estimativas de curtose são limitadas em função do tamanho da amostra. Escrevi uma resenha em Cox, NJ 2010. Os limites da distorção e curtose da amostra. Stata Journal 10 (3): 482-495. http://www.stata-journal.com/article.html?article=st0204

Resumo: A assimetria e curtose da amostra são limitadas por funções do tamanho da amostra. Os limites, ou aproximações a eles, foram repetidamente redescobertos nas últimas décadas, mas, no entanto, parecem permanecer apenas pouco conhecidos. Os limites conferem viés à estimativa e, em casos extremos, implicam que nenhuma amostra poderia dar testemunho exato de sua distribuição-mãe. Os principais resultados são explicados em uma revisão tutorial e é mostrado como Stata e Mata podem ser usados para confirmar e explorar suas conseqüências.

Agora, para o que é comumente considerado como o cerne da questão:

Muitas pessoas traduzem a curtose como pico, mas outras enfatizam que muitas vezes serve como uma medida do peso da cauda. De fato, as duas interpretações podem ser palavras razoáveis para algumas distribuições. É quase inevitável que não haja uma interpretação verbal simples da curtose: nossa linguagem não é rica o suficiente em comparações de somas do quarto poder de desvio da média e somas de segundos poderes do mesmo.

Em um clássico menor e muitas vezes esquecido, Irving Kaplansky (1945a) chamou a atenção para quatro exemplos de distribuições com diferentes valores de curtose e comportamento não consistentes com algumas discussões sobre curtose.

As distribuições são todos simétricos com média e variância 0 1 e tem funções de densidade, para a variável e , $x$ $c = \sqrt{\pi}$

$(1)\ \ \ (1 / 3c) (9/4 + x^4) \exp(-x^2)$

$(2)\ \ \ (3 / (c \sqrt8)) \exp(-x^2 / 2) - (1 / 6c) (9/4 + x^4) \exp(-x^2)$

$(3)\ \ \ (1 / 6c) (\exp(-x^2 / 4) + 4 \exp(-x^2))$

$(4)\ \ \ (3 \sqrt3 / 16c) (2 + x^2) \exp(-3x^2 / 4)$

A curtose (sem subtração) é (1) 2,75 (2) 3,125 (3) 4,5 (4) 8/3 2.667: compare o valor gaussiano ou normal de 3. A densidade média é (1) 0,423 (2) ) 0,387 (3) 0,470 (4) 0,366: compare o valor gaussiano de 0,399. $\approx$

É instrutivo traçar essas densidades. Os usuários do Stata podem baixar meu kaplanskyprograma no SSC. Usar uma escala logarítmica para densidade pode ajudar.

Sem revelar todos os detalhes, esses exemplos minam qualquer história simples de que a curtose baixa ou alta tenha uma interpretação clara em termos de pico ou mesmo qualquer outro contraste isolado.

Se o nome Irving Kaplansky toca, provavelmente é porque você conhece o trabalho dele na álgebra moderna. Ele (1917-2006) era um matemático canadense (mais tarde americano) e ensinou e pesquisou em Harvard, Chicago e Berkeley, com um ano de guerra no Grupo de Matemática Aplicada do Conselho de Defesa Nacional da Universidade de Columbia. Kaplansky fez grandes contribuições à teoria dos grupos, teoria dos anéis, teoria das álgebras dos operadores e teoria dos campos. Ele era um pianista e letrista talentoso e um expositor entusiasmado e lúcido da matemática. Observe também algumas outras contribuições de probabilidade e estatística de Kaplansky (1943, 1945b) e Kaplansky e Riordan (1945).

Kaplansky, I. 1943. Uma caracterização da distribuição normal. Annals of Mathematics Statistics 14: 197-198.

Kaplansky, I. 1945a. Um erro comum em relação à curtose. Journal, American Statistical Association 40: 259 apenas.

Kaplansky, I. 1945b. A distribuição assintótica de execuções de elementos consecutivos. Annals of Mathematics Statistics 16: 200-203.

Kaplansky, I. e Riordan, J. 1945. Correspondência múltipla e é executada pelo método simbólico. Annals of Mathematics Statistics 16: 272-277.

— Nick Cox
fonte

+1 Comentários interessantes sobre Kaplansky, com cujo trabalho algébrico eu conheço há muito tempo.

— whuber

Nick, seu comentário "De fato, as duas interpretações (pico e cauda) podem ser palavras razoáveis para algumas distribuições". está incorreto e, portanto, não é útil, simplesmente porque a curtose não diz nada sobre "pico". Sério, você pode definir o que significa "pico"? E um acompanhamento, se eu puder: Dada a sua definição de "pico" (supondo que você possa propor um), como isso se relaciona, matematicamente, à curtose?

— quer

@ Peter Westfall Se concordamos que a curtose é o que a curtose mede, então meu argumento é apenas o argumento de Kaplansky, que é baseado em curvas concretas e resultados numéricos, não em brigas verbais, ou seja, que a curtose mais alta às vezes combina com densidades de pico mais altas e, inversamente, por menor curtose. Eu não sou nem um pouco parcial do termo pico e, quando obrigado a simplificar verbalmente, tento afirmar que, na prática, a curtose é principalmente uma história de peso da cauda. Penso que as fórmulas aqui fazem todo o trabalho, carregam todo o peso estatístico e consideram a polêmica verbal menos útil.

— Nick Cox

Além disso, não posso sugerir uma caracterização fácil da curtose, exceto por distribuições inteiramente simétricas. Não acho que alguém seja obrigado a definir picos; a definição que existe é a de curtose e as questões práticas são como pensar e até que ponto é útil.

— Nick Cox

A afirmação "simplesmente porque a curtose não diz nada sobre o pico" é, por si só, sem fundamento. A falta de referências certamente incluiria seu artigo no TAS, acessível para as pessoas interessadas em considerar sua própria discussão mais longa.

— Nick Cox