Para quais distribuições existe um estimador imparcial de forma fechada para o desvio padrão?

Para a distribuição normal, existe um estimador imparcial do desvio padrão dado por:

{\hat{σ}}_{unbiased} = \frac{Γ (\frac{n - 1}{2})}{Γ (\frac{n}{2})} \sqrt{\frac{1}{2} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}}

$\hat{\sigma}_\text{unbiased} = \frac{\Gamma(\frac{n-1}{2})}{\Gamma(\frac{n}{2})} \sqrt{\frac{1}{2}\sum_{k=1}^n(x_i-\bar{x})^2}$

A razão pela qual esse resultado não é tão conhecido parece ser que ele é em grande parte um objeto antigo e não uma questão de grande importância . A prova é abordada neste tópico ; tira proveito de uma propriedade chave da distribuição normal:

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

A partir daí, com um pouco de trabalho, é possível assumir a expectativa e identificando esta resposta como um múltiplo de , podemos deduzir o resultado para . $\mathbb{E}\left( \sqrt{\sum_{k=1}^n(x_i-\bar{x})^2} \right)$ $\sigma$ $\hat{\sigma}_\text{unbiased}$

Isso me deixa curioso que outras distribuições têm um estimador imparcial de forma fechada do desvio padrão. Diferentemente do estimador imparcial da variância, isso é claramente específico da distribuição. Além disso, não seria fácil adaptar a prova para encontrar estimadores para outras distribuições.

As distribuições skew-normal têm algumas boas propriedades distributivas para suas formas quadráticas, das quais a propriedade de distribuição normal que usamos é efetivamente um caso especial (já que o normal é um tipo especial de skew normal), portanto, talvez não seja tão difícil assim. estenda esse método para eles. Mas, para outras distribuições, parece que é necessária uma abordagem totalmente diferente.

Existem outras distribuições pelas quais esses estimadores são conhecidos?

mathematical-statistics standard-deviation unbiased-estimator

— Silverfish
fonte

Se você ignorar as distrações técnicas, a natureza da resposta fica mais clara. No caso Normal, pouco do que você escreve é realmente relevante para a conclusão; o que importa é que a quantidade de viés nesse estimador específico é função de sozinho (e não depende de outros parâmetros distributivos que precisam ser estimados a partir dos dados).

n

$n$

— whuber

@whuber Eu acho que posso ver a idéia geral que você está sugerindo, e claramente "função de sozinho" é necessária. Mas acho que não seria suficiente - se não tivéssemos acesso a bons resultados distributivos, não vejo como o aspecto de "forma fechada" seria tratável.

n

$n$

— Silverfish

Depende do que você quer dizer com "forma fechada". Por exemplo, para uma pessoa uma função teta pode ser "fechada", mas para outra é apenas um produto infinito, uma série de potências ou uma integral complexa. Venha para pensar sobre isso, é precisamente o que é uma função Gamma :-).

— whuber

@whuber Bom ponto! Por "a quantidade de viés neste estimador em particular", entendo que o viés em (em vez do estimador listado na pergunta, que tem viés zero) é uma função de (e também em , mas felizmente, de maneira que possamos reorganizar facilmente para encontrar um estimador imparcial)?

s

$s$

n

$n$

σ

$\sigma$

— Silverfish

@ whuber: Deve haver uma fórmula semelhante para qualquer família em escala de local, com a ressalva que você apontou que a função de pode ser uma integral intratável.

n

$n$

— Xian

Respostas:

Embora isso não esteja diretamente conectado à questão, existe um artigo de 1968 de Peter Bickel e Erich Lehmann que afirma que, para uma família convexa de distribuições , existe um estimador imparcial de um funcional (para um tamanho de amostra grande o suficiente) se e somente se for um polinômio em $F$ $q(F)$ $n$ $q(\alpha F+(1-\alpha)G)$ $0\le \alpha\le 1$ . Este teorema não se aplica ao problema aqui porque a coleção de distribuições gaussianas não é convexa (uma mistura de gaussianos não é gaussiana).

Uma extensão do resultado da pergunta é que qualquer potência do desvio padrão pode ser estimada de maneira imparcial, desde que haja observações suficientes quando . Isto segue do resultado $\sigma^\alpha$ $\alpha<0$ queé o parâmetro de escala (e único) para.

\frac{1}{σ^{2}} \sum_{k = 1}^{n} (x_{i} - \bar{x})^{2} \sim χ_{n - 1}^{2}

$\frac{1}{\sigma^2} \sum_{k=1}^n(x_i-\bar{x})^2 \sim \chi^{2}_{n-1}$

σ

$\sigma$

\sum_{k = 1}^{n} (x_{i} - \bar{x})^{2}

$\sum_{k=1}^n(x_i-\bar{x})^2$

Esta configuração normal pode então ser estendida a qualquer família localização escala com uma variação finita . De fato,

X_{1}, \dots, X_{n} \overset{iid}{\sim} τ^{- 1} f (τ^{- 1} {x - μ})

$X_1,\ldots,X_n\stackrel{\text{iid}}{\sim} \tau^{-1}f(\tau^{-1}\{x-\mu\})$

σ^{2}

$\sigma^2$

a variância é apenas uma função de ; ${var}_{μ, τ} (X) = E_{μ, τ} [(X - μ)^{2}] = τ^{2} E_{0, 1} [X^{2}]$ $\text{var}_{\mu,\tau}(X)=\mathbb{E}_{\mu,\tau}[(X-\mu)^2]=\tau^2\mathbb{E}_{0,1}[X^2]$ $\tau$
a soma dos quadrados tem uma expectativa da forma; $\begin{aligned} E_{μ, τ} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] & = τ^{2} E_{μ, τ} [\sum_{k = 1}^{n} τ^{- 2} (X_{i} - μ - \bar{X} + μ)^{2}] \\ = τ^{2} E_{0, 1} [\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}] \end{aligned}$ $\begin{align*}\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]&=\tau^2\mathbb{E}_{\mu,\tau}\left[\sum_{k=1}^n\tau^{-2}(X_i-\mu-\bar{X}+\mu)^2\right]\\ &=\tau^2\mathbb{E}_{0,1}\left[\sum_{k=1}^n(X_i-\bar{X})^2\right]\end{align*}$ $\tau^2\psi(n)$
e similarmente para qualquer potência tal que a expectativa seja finita. $E_{μ, τ} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}] = τ^{2 α} E_{0, 1} [{\sum_{k = 1}^{n} (X_{i} - \bar{X})^{2}}^{α}]$ $\mathbb{E}_{\mu,\tau}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]=\tau^{2\alpha}\mathbb{E}_{0,1}\left[\left\{\sum_{k=1}^n(X_i-\bar{X})^2\right\}^\alpha\right]$

— Xi'an
fonte

Um caso provavelmente bem conhecido, mas, mesmo assim.
Considere uma distribuição uniforme contínua . Dada uma amostra de iid, a estatística de pedido máximo, tem valor esperado $U(0,\theta)$ $X_{(n)}$

E (X_{(n)}) = \frac{n}{n + 1} θ

$E(X_{(n)}) = \frac {n}{n+1}\theta$

O desvio padrão da distribuição é

σ = \frac{θ}{2 \sqrt{3}}

$\sigma = \frac {\theta}{2\sqrt 3}$

Assim, o estimador de

\hat{σ} = \frac{1}{2 \sqrt{3}} \frac{n + 1}{n} X_{(n)}

$\hat \sigma = \frac 1{2\sqrt 3}\frac {n+1}{n}X_{(n)}$

é evidentemente imparcial para . $\sigma$

Isso generaliza para o caso em que o limite inferior da distribuição também é desconhecido, pois podemos ter um estimador imparcial para o Range e, em seguida, o desvio padrão é novamente uma função linear do Range (como também é essencialmente acima também).

Isso exemplifica o comentário de @ whuber, de que "a quantidade de viés é uma função de sozinha" (mais possivelmente de todas as constantes conhecidas) - para que possa ser corrigida de forma determinística . E este é o caso aqui. $n$

— Alecos Papadopoulos
fonte

Agora a parte mais difícil: quando no mundo estamos interessados no desvio padrão de uma distribuição uniforme? (+1)

— shadowtalker

@ssdecontrol Essa é uma excelente pergunta! -Por favor, prossiga para a próxima ...

— Alecos Papadopoulos

Uma coisa que eu amo nessa resposta é o quão pobre o estimador é. É bastante comum ver uma pergunta que se resume a "por que usar

como um estimador mesmo que ele é tendencioso?" Alguns estudantes precisam convencer que a imparcialidade não é o princípio e o fim, e um estimador imparcial ruim é uma maneira de mostrar a eles.

\hat{θ}

$\hat{\theta}$

— Silverfish

@ Silverfish Pobre de que maneira? Algumas simulações rápidas mostram que esse MSE é menor do que o desvio padrão usual (o que me surpreendeu).

— Dave Dave

@Dave Interesting! Eu tinha chegado à conclusão de que seria ruim, uma vez que apenas olhava para a estatística de pedidos máximos, mas também fico surpresa! Mostra o valor de fazer algumas simulações ...

— Silverfish