Como a curtose de uma distribuição está relacionada à geometria da função densidade?

12

A curtose é medir o pico e a planicidade de uma distribuição. A função de densidade da distribuição, se existir, pode ser vista como uma curva e possui características geométricas (como curvatura, convexidade, ...) relacionadas à sua forma.

Então, eu me pergunto se a curtose de uma distribuição está relacionada a algumas características geométricas da função densidade, o que pode explicar o significado geométrico da curtose?

kurtosis geometry

— Tim
fonte

Estou pedindo alguma relação na fórmula com alguma quantidade geométrica da curva de densidade, não apenas o significado vago que apontei no meu post. Ou é bom apenas para ter alguma explicação de por que curtose tem o significado geométrico

— Tim

@ Peter Isso está longe da verdade. Pode-se modificar a geometria do gráfico do PDF quase arbitrariamente sem alterar nenhum momento (número finito de seus) especificados.

— whuber

A pergunta intimamente relacionada em stats.stackexchange.com/questions/25010/… sugere qual deve ser a resposta certa para essa pergunta.

— whuber

@whuber, enquanto eu concordo e agradeço por esse exemplo, também me pergunto se ele não diz mais sobre a propriedade notável dessa família particular de pdf do que sobre a curtose em geral.

— user603

@ user603 É bom pensar nisso. No entanto, a declaração não é sobre essa família em particular: acontece que, para a distribuição lognormal, é possível produzir uma representação explícita de uma classe de PDFs alternativos nos mesmos momentos. Ele é especial que todos os momentos são os mesmos, mas perturbando a maioria das distribuições de uma forma que corrige um número finito de seus momentos não é difícil. (É difícil para certas distribuições discretas, como a Bernoulli, mas elas não têm PDFs.)

— whuber

17

Os momentos de uma distribuição contínua e suas funções, como a curtose, mostram muito pouco sobre o gráfico de sua função de densidade.

Considere, por exemplo, os seguintes gráficos.

insira a descrição da imagem aqui

Cada um deles é o gráfico de uma função não negativa que se integra a : todos são PDFs. Além disso, todos eles têm exatamente os mesmos momentos - cada último número infinito deles. Assim, eles compartilham uma curtose comum (que é igual a ). $1$ $-3+3 e^2+2 e^3+e^4$

As fórmulas para essas funções são

f_{k, s} (x) = \frac{1}{\sqrt{2 π} x} \exp (- \frac{1}{2} (\log (x))^{2}) (1 + s \sin (2 k π \log (x))

$f_{k,s}(x) = \frac{1}{\sqrt{2\pi}x} \exp\left(-\frac{1}{2}(\log(x))^2\right)\left(1 + s\sin(2 k \pi \log(x)\right)$

para e $x \gt 0,$ $-1\le s\le 1,$ $k\in\mathbb{Z}.$

A figura exibe os valores de à esquerda e os valores de na parte superior. A coluna da esquerda mostra o PDF para a distribuição normal de lognormal. $s$ $k$

O Exercício 6.21 da Teoria Avançada de Estatística de Kendall (Stuart & Ord, 5ª edição) pede ao leitor que mostre que todos eles têm os mesmos momentos.

Pode-se modificar de maneira semelhante qualquer pdf para criar outro pdf de formato radicalmente diferente, mas com o mesmo segundo e quarto momentos centrais (digamos), que, portanto, teriam a mesma curtose. Somente a partir deste exemplo, deve ficar claro que a curtose não é uma medida facilmente intuitiva ou intuitiva de simetria, unimodalidade, bimodalidade, convexidade ou qualquer outra caracterização geométrica familiar de uma curva.

Funções de momentos, portanto (e curtose como um caso especial) não descrevem propriedades geométricas do gráfico do pdf. Isso intuitivamente faz sentido: como um pdf representa probabilidade por meio de área, podemos quase livremente mudar a densidade de probabilidade de um local para outro, alterando radicalmente a aparência do pdf, enquanto fixa qualquer número finito de momentos pré-especificados.

— whuber
fonte

1

"Somente a partir deste exemplo, deve ficar bem claro ... qualquer outra caracterização geométrica familiar de uma curva". Entendo o que você quer dizer, mas há motivos para divergências razoáveis na interpretação aqui. Outra interpretação é a de Darlington, que mostra como, a partir de uma distribuição simétrica, mover alguma massa em pontos específicos aumenta / diminui a curtose (novamente, não uma contradição do seu exemplo, apenas um entendimento mais "positivo").

— user603

1

@ user603 Não discordo, mas acho que a abordagem "positiva" ignora as suposições muito especiais que são implicitamente feitas para que funcione. Pode-se também começar com o gráfico de um PDF extremamente assimétrico, cuja assimetria é zero (eles não são difíceis de construir). Portanto, essa abordagem positiva apenas descreve o que acontece com determinados PDFs muito especiais quando a massa é movida. Embora isso possa ser bastante útil para a intuição, parece não ter influência lógica na presente questão.

— whuber

1

Concordo pela assimetria (e pela sua resposta em geral). Mas a curtose, em função, tem um mínimo. Isso torna as coisas um pouco mais interessantes.

— user603

1

@ user603 Obrigado; essa é uma distinção perspicaz. Não acho que isso mude nenhuma das conclusões presentes de maneiras importantes, mas certamente ajuda a intuição e aponta para uma diferença importante entre momentos pares e ímpares.

— whuber

6

Para distribuições simétricas (que são aquelas para as quais os momentos centralizados são significativos), a curtose mede uma característica geométrica do pdf subjacente. Não é verdade que a curtose mede (ou está em geral relacionada) ao pico de uma distribuição. Em vez disso, a curtose mede até que ponto a distribuição subjacente é simétrica e bimodal (algebricamente, uma distribuição perfeitamente simétrica e bimodal terá uma curtose de 1, que é o menor valor possível que a curtose pode ter) [0].

Em poucas palavras [1], se você definir:

k = E (x - μ)^{4} / σ^{4}

$k=E(x-\mu)^4/\sigma^4$

com , então $E(X)=\mu,V(X)=\sigma^2$

k = V (Z^{2}) + 1 \geq 1

$k=V(Z^2)+1\ge1$

para . $Z=(X-\mu)/\sigma$

Isso implica que pode ser visto como uma medida de dispersão de torno de sua expectativa 1. Em outras palavras, se você tiver uma interpretação geométrica da variância e da expectativa, então a da curtose segue. $k$ $Z^2$

[0] RB Darlington (1970). Kurtosis é realmente "Peakedness?". The American Statistician, vol. 24, nº 2.

[1] JJA Moors (1986). O significado de curtose: Darlington reexaminada. The American Statistician, Volume 40, Edição 4.

— user603
fonte

1

Onde quer que você escreva "bimodal", você quer dizer "unimodal"?

— whuber

1

Sim, esses exemplos funcionam para distribuições simétricas. Um explícito pode ser construído a partir das famílias pseudo-logormais: pegue um desses pdfs (infinitamente modais)

com média de

e defina um novo pdf como

Ao misturar uma pequena quantidade de

com uma distribuição de curtose mínima, você descobre que existem distribuições com infinitos modos cuja curtose é arbitrariamente próxima ao valor mínimo de

f

$f$

μ

$\mu$

g (x) = (f (x) + f (2 μ - x)) / 2.

$g(x) = (f(x)+f(2\mu-x))/2.$

g

$g$

1

$1$ . Assim, pelo menos, a curtose não diz absolutamente nada sobre bimodalidade. Como não existe, exatamente que propriedade geométrica do pdf está descrevendo?

— whuber

1

vamos continuar essa discussão no bate

— whuber

1

A curtose não indica bimodalidade, exceto no caso extremo em que se aproxima do mínimo, onde indica algo semelhante à distribuição equiprobável de dois pontos. Você pode ter distribuições bimodais com todos os valores possíveis de curtose. Consulte ncbi.nlm.nih.gov/pmc/articles/PMC4321753 para obter exemplos.

— 31818 Peter Westfall

1

Sim; veja o artigo que eu vinculei. A primeira frase do resumo de DeCarlo está absolutamente errada. Se você não quiser ler meu artigo, aqui está a matemática: pegue qualquer distribuição bimodal simétrica e misture-a com uma distribuição simétrica muito mais ampla, com a mesma mediana que a bimodal. A mistura é simétrica e bimodal para pequenas

. Ajustando a distribuição mais ampla e a mistura

, você pode fazer com que a curtose alcance até o infinito. E você pode obter curtose tão pequena quanto desejar usando .5N (-1, v) + .5N (1, v), deixando

. PDFs simétricos e bimodais são fáceis de construir para toda a curtose.

p

$p$

p

$p$

v \to 0

$v \rightarrow 0$

— Peter Westfall

5

[Nota: isso foi escrito em resposta a outra pergunta no local; as respostas foram mescladas à presente pergunta. É por isso que essa resposta parece responder a uma pergunta com palavras diferentes. No entanto, grande parte da postagem deve ser relevante aqui.]

A curtose não mede realmente a forma das distribuições. Em algumas famílias de distribuição, talvez, você pode dizer que descreve a forma, mas geralmente a curtose não diz muito sobre a forma real. A forma é afetada por muitas coisas, incluindo coisas não relacionadas à curtose.

Se alguém pesquisa imagens por curtose, algumas imagens como esta aparecem:

que parecem mostrar variação variável, em vez de aumentar a curtose. Para comparação, aqui estão três densidades normais que eu apenas desenhei (usando R) com diferentes desvios padrão:

insira a descrição da imagem aqui

Como você pode ver, parece quase idêntico à imagem anterior. Todos estes têm exatamente a mesma curtose. Por outro lado, aqui está um exemplo que provavelmente está mais próximo do que o diagrama estava buscando

insira a descrição da imagem aqui

$\sqrt{6}$

Isso é geralmente o que as pessoas querem dizer quando falam sobre curtose, indicando o formato da densidade. No entanto, a curtose pode ser sutil - não precisa funcionar assim.

Por exemplo, em uma dada variância, a curtose mais alta pode realmente ocorrer com um pico mais baixo.

É preciso também tomar cuidado com a tentação (e em alguns livros é declarado abertamente) de que a curtose zero em excesso implica normalidade. Existem distribuições com excesso de curtose 0 que não são nada como o normal. Aqui está um exemplo:

dgam 2.3

De fato, isso também ilustra o ponto anterior. Eu poderia facilmente construir uma distribuição de aparência semelhante, com curtose mais alta que a normal, mas que ainda é zero no centro - uma completa ausência de pico.

Existem várias postagens no site que descrevem ainda mais a curtose. Um exemplo está aqui .

— Glen_b -Reinstate Monica
fonte

Mas eu não disse isso? O livro diz isso?

— Stat Tistician

Eu sei disso. Eu nunca disse que você disse isso. Como você sugere que eu responda a declarações descaradamente incorretas sobre as quais você pergunta? Apenas finja que eles não estão errados?

— Glen_b -Reinstala Monica 26/03

1

@Glen_b As fotos não são do livro. O livro não fornece ilustrações. Eu usei a pesquisa de imagens goolge para essas ilustrações.

— Stat Tistician

2

Alguns autores escrevem sobre curtose como pico e alguns escrevem como peso da cauda, mas a interpretação cética de que a curtose é qualquer que seja a medida da curtose é a única história totalmente segura. Apenas os exemplos numéricos dados por Irving Kaplansky (1945) são suficientes para mostrar que a curtose não tem nenhuma interpretação inequívoca. (O artigo de Kaplansky é um dos poucos que ele escreveu em meados da década de 1940 sobre probabilidade e estatística. Ele é muito mais conhecido como um distinto algebraista.) Referência completa e mais em stata-journal.com/sjpdf.html?articlenum=st0204

— Nick Cox

1

Existem livros e documentos que afirmam que a curtose é um pico, então minha primeira cláusula permanece correta e também suportável como uma declaração sobre o que está na literatura. O mais crucial é como se considera os exemplos e argumentos de Kaplansky.

— Nick Cox

3

A curtose não está relacionada à geometria da distribuição, pelo menos não na parte central da distribuição. Na parte central da distribuição (dentro do $\mu \pm \sigma$ faixa) a geometria pode mostrar um pico infinito, um pico plano ou picos bimodais, tanto nos casos em que a curtose é infinita quanto nos casos em que a curtose é menor que a da distribuição normal. A curtose mede apenas o comportamento da cauda (valores extremos). Consulte https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4321753/

Edit 23/11/2018: Desde que escrevi este post, desenvolvi algumas perspectivas geométricas sobre curtose. Uma é que a curtose excessiva pode de fato ser visualizada geometricamente em termos de desvios da linha de 45 graus esperada nas caudas do gráfico quantil-quantil normal; consulte Este gráfico de QQ indica distribuição leptokurtic ou platykurtic?

Outra interpretação (talvez mais física do que geométrica) da curtose é que a curtose pode ser visualizada como o ponto de equilíbrio da distribuição $p_V(v)$ , Onde $V = \{(X - \mu)/\sigma \}^4$ . Observe que a curtose (sem excesso) de $X$ é igual a $E(V)$ . Assim, a distribuição de $V$ saldos na curtose de $X$ .

Outro resultado que mostra que a geometria no $\mu \pm \sigma$ O intervalo é quase irrelevante para a curtose é dada da seguinte maneira. Considere o pdf de qualquer RV $X$ tendo quarto momento finito. (Portanto, o resultado se aplica a todas as distribuições empíricas.) Substitua a massa (ou geometria) dentro do $\mu \pm \sigma$ arbitrariamente para obter uma nova distribuição, mas mantenha a média e o desvio padrão da distribuição resultante iguais a $\mu$ e $\sigma$ do original $X$ . Então, a diferença máxima na curtose para todas essas substituições é $\le 0.25$ . Por outro lado, se você substituir a massa fora do $\mu \pm \sigma$ mantendo a massa central, bem como $\mu$ , $\sigma$ fixo, a diferença de curtose é ilimitada para todas essas substituições.

— Peter Westfall
fonte

3

Rather than just continuing to refer people to a paper in most of your posts, would you mind summarizing the arguments here? See the help here under "always provide context for links", in particular where it says "always quote the important part". It's not necessarily to literally quote it where the argument is extensive, but at least a summary of the argument is needed. You just make a couple of sweeping statements and then link to a paper. The statement that kurtosis measures tail behavior is (absent context) misleading (demonstrably so)

— Glen_b -Reinstate Monica

2

... but it's impossible to disagree with arguments you don't present here, and perhaps arrive at a more nuanced conclusion.

— Glen_b -Reinstate Monica

My arguments are clearly laid out here: en.wikipedia.org/wiki/… Comments welcome! BTW, kurtosis IS a measure of tail weight, just not the same as others that have been considered. It measures tail weight via E(Z^4), which is a measure of tail weight since the values |Z|<1 contribute so little to it. By the same logic, E(Z^n), for higher even powers n, are also tail weight measures.

— Peter Westfall

Hi Peter, Please visit stats.stackexchange.com/help/merging-accounts to merge your accounts so that you can modify your old posts.

— whuber

3

A different kind of answer: We can illustrate kurtosis geometrically, using ideas from http://www.quantdec.com/envstats/notes/class_06/properties.htm: graphical moments.

Start with the definition of kurtosis:

k = E {(\frac{X - μ}{σ})}^{4} = \int (\frac{x - μ}{σ})^{4} f (x) d x

$\DeclareMathOperator{\E}{\mathbb{E}} k = \E \left( \frac{X-\mu}{\sigma} \right)^4 =\int (\frac{x-\mu}{\sigma})^4 f(x) \; dx$ where

f

$f$ is the density of

X

$X$ ,

μ, σ^{2}

$\mu, \sigma^2$ respectivamente expectativa e variância. A função não-negativa sob o signo integral integra-se à curtose e contribui para a curtose de aproximadamente

x

$x$ . Podemos chamá-lo de densidade de curtose , e plotá-lo mostra graficamente a curtose. (Note-se que neste post estamos não usando o excesso de curtose

k_{e} = k - 3

$k_e=k-3$ em absoluto).

A seguir, mostrarei um gráfico de curtose gráfica para algumas distribuições simétricas, todas centralizadas em zero e dimensionadas para ter variação 1.

Observe a virtual ausência de contribuição para a curtose do centro, mostrando que a curtose não tem muito a ver com "pico".

— kjetil b halvorsen
fonte

1

Exatamente certo. As áreas sob as curvas que você mostra de -1 a +1 estão entre 0 e 1 para todas as distribuições e entre 0 e 0,5 para todas as distribuições contínuas para as quais a densidade de

Z^{2}

$Z^2$ está diminuindo no intervalo [0,1]. Esses dois teoremas são comprovados no meu artigo ncbi.nlm.nih.gov/pmc/articles/PMC4321753 . Um terceiro teorema comprovado é que, para qualquer sequência de distribuições para as quais a curtose tende ao infinito, a razão da área sob a faixa de

- b

$-b$ para

+ b

$+b$ a curtose tende a zero, para cada

b

$b$ .

— 27518 Peter Westfall