A média da amostra é a “melhor” estimativa da distribuição em algum sentido?

Pela lei (fraca / forte) de grandes números, dados alguns pontos de amostra iid de uma distribuição, sua amostra significa converge para a média de distribuição, tanto em probabilidade quanto em, como tamanho da amostra vai para o infinito. $\{x_i \in \mathbb{R}^n, i=1,\ldots,N\}$ $f^*(\{x_i, i=1,\ldots,N\}):=\frac{1}{N} \sum_{i=1}^N x_i$ $N$

Quando o tamanho da amostra $N$ é fixo, eu me pergunto se o estimador LLN $f^*$ é um estimador melhor em algum sentido? Por exemplo,

sua expectativa é a média da distribuição, portanto é um estimador imparcial. Sua variação é $\frac{\sigma^2}{N}$ que $\sigma^2$ é a variação da distribuição. Mas é UMVU?
existe alguma função $l_0: \mathbb{R}^n \times \mathbb{R}^n \rightarrow [0,\infty)$ tal que $f^*(\{x_i, i=1,\ldots,N\})$ resolva o problema de minimização:
$f^{*} ({x_{Eu}, Eu = 1 1, \dots, N}) = {argmin}_{você \in R^{n}} \sum_{Eu = 1 1}^{N} {eu}_{0 0} (x_{Eu}, você) ?$ $f^*(\{x_i, i=1,\ldots,N\}) = \operatorname{argmin}_{u \in \mathbb{R}^n} \quad \sum_{i=1}^N l_0(x_i, u)?$
Em outras palavras, $f^*$ é a melhor função de contraste $l_0$ na estrutura de contraste mínimo ( a Seção 2.1 "Heurísticas básicas de estimativa" em " Estatística matemática: idéias básicas e tópicos selecionados, Volume 1 " de Bickle e Doksum).

Por exemplo, se a distribuição for conhecida / restrita como sendo da família de distribuições gaussianas, a média da amostra será o estimador da média da distribuição do MLE, e o MLE pertencerá à estrutura mínima de contraste e sua função de contraste $l_0$ será menos a probabilidade do log função.
existe alguma função tal que resolva o problema de minimização: para qualquer distribuição de dentro de alguma família de distribuições? $l: \mathbb{R}^n \times F \rightarrow [0,\infty)$ $f^*$
$f^{*} = {argmin}_{f} E_{iid {x_{Eu}, Eu = 1 1, \dots, N} cada um com distribuição P} eu (f ({x_{Eu}, Eu = 1 1, \dots, N}), P) ?$ $f^* = \operatorname{argmin}_{f} \quad \operatorname{E}_{\text{iid }\{x_i, i=1,\ldots,N\} \text{ each with distribution }P } \quad l(f(\{x_i, i=1,\ldots,N\}), P)?$ $P$ $x_i$ $F$
Em outras palavras, é o melhor para algumas funções perdidas alguma família de distribuições no referencial teórico da decisão (consulte a Seção 1.3 "O Marco Teórico da Decisão" em " Estatística matemática: idéias básicas e tópicos selecionados, volume 1 " de Bickle e Doksum). $f^*$ $l$ $F$

Observe que as opções acima são três interpretações diferentes para uma "melhor" estimativa que eu conheci até agora. Se você conhece outras possíveis interpretações que podem ser aplicadas ao estimador LLN, não hesite em mencionar isso também.

estimation expected-value law-of-large-numbers

— Tim
fonte

Outra maneira de caracterizar um estimador: Leia sobre o Estimador Consistente aqui . A média da amostra é consistente devido ao LLN.

— Rohit Banga

A média da amostra possui muitas propriedades interessantes e interessantes, mas às vezes elas não são as melhores que se pode ter em uma situação específica. Um exemplo é casos em que o suporte à distribuição depende do valor do parâmetro. Considere , então é um estimador imparcial do média de distribuição mas não é o UMVUE, por exemplo, estimativas imparciais baseadas na estatística de maior ordem terão uma variação menor do que a média da amostra.

X_{1}, X_{2}, \dots, X_{n} \sim U (0, θ)

$X_1, X_2, \ldots, X_n \sim \mathcal{U}(0,\theta)$

\frac{1}{n} \sum_{i = 1}^{n} X_{i}

$\frac{1}{n} \sum_{i=1}^{n} X_i$

θ

$\theta$

\frac{n + 1}{n} X_{(n)}

$\frac{n+1}{n}X_{(n)}$

— precisa saber é o seguinte

Obrigado! Mas como é calculada sua variação?

— Tim

O pdf de , a estatística de maior ordem é dada por, , de modo que a variação do estimador imparcial será, , ou seja, a variação é da ordem de , em comparação com a variação da média da amostra que é da ordem .

Y = X_{(n)}

$Y=X_{(n)}$

f (y) = \frac{n y^{n - 1}}{θ^{n}}; y \in (0, θ)

$f(y)= \frac{ny^{n-1}}{{\theta}^n} ; y\in (0,\theta)$

\frac{n}{n + 1} Y

$\frac{n}{n+1}Y$

V a r (\frac{n}{n + 1} Y) = \frac{1}{n (n + 2)} θ^{2}

$Var(\frac{n}{n+1}Y)=\frac{1}{n(n+2)}\theta^2$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{1}{n}

$\frac{1}{n}$

— precisa saber é o seguinte

@VitalStatistix, estou perdendo completamente alguma coisa aqui? Se as variáveis são uniformes em sua média amostral tem expectativa , então você não deseja multiplicar por 2 para obter um estimador imparcial de ?

[0, θ]

$[0, \theta]$

θ / 2

$\theta/2$

θ

$\theta$

— NRH 5/10/11

A resposta para sua segunda pergunta é sim: A média da amostra é um estimador de contraste mínimo quando sua função é , quando x e u são números reais ou , quando x e u são vetores de coluna. Isto segue da teoria dos mínimos quadrados ou cálculo diferencial. $l_0$ $(x-u)^2$ $(x-u)'(x-u)$

Um estimador de contraste mínimo é, sob certas condições técnicas, consistente e assintoticamente normal. Para a média da amostra, isso já decorre do LLN e do teorema do limite central. Não sei se os estimadores mínimos de contraste são "ideais" de forma alguma. O que é bom nos estimadores de contraste mínimo é que muitos estimadores robustos (por exemplo, a mediana, estimadores de Huber, quantis de amostra) se enquadram nessa família, e podemos concluir que eles são consistentes e assintoticamente normais apenas aplicando o teorema geral para estimadores de contraste mínimos, portanto desde que verifique algumas condições técnicas (embora muitas vezes isso seja muito difícil do que parece).

Uma noção de otimização que você não menciona na sua pergunta é a eficiência, que, grosso modo, é sobre o tamanho de uma amostra que você precisa para obter uma estimativa de uma certa qualidade. Consulte http://en.wikipedia.org/wiki/Efficiency_(statistics)#Asymptotic_efficiency para obter uma comparação da eficiência de média e mediana (média é mais eficiente, mas a mediana é mais robusta para os valores extremos).

Para a terceira pergunta, sem alguma restrição no conjunto de funções f sobre as quais você está encontrando o argmin, não acho que a média da amostra seja ótima. Para qualquer distribuição P, você pode corrigir f ser uma constante que ignora o 's e minimiza a perda para a média da amostra P. particular não pode bater isso. $x_i$

$f^*$ $P$ $f^*$ $\max_{P\in F}$ $P\in F$ $P$ $P$

— DavidR
fonte

Obrigado! Existem boas referências sobre propriedades do estimador de contraste mínimo, como consistentes e assintoticamente normais, bem como exemplos como a mediana, estimadores de Huber, quantis de amostra?

— Tim

A seção 5.2.2 do livro de Bickel & Doksum que você cita possui um teorema sobre a consistência dos estimadores mínimos de contraste. A Seção 5.4.2 discute a normalidade assintótica. Outra fonte que eu recomendo, e que discute os outros estimadores que menciono, é o livro Estatística Assintótica de van der Vaart . O capítulo 5 é sobre estimadores-M, que é o nome dele para estimadores mínimos de contraste.

— DavidR

Obrigado! A norma do seu primeiro parágrafo é arbitrária em ou deve ser a norma ?

R^{n}

$\mathbb{R}^n$

l_{2}

$l_2$

— Tim

Quero dizer a norma euclidiana padrão - mudei para notação vetorial para esclarecer.

— quer

l

$l$