Sobre a existência de UMVUE e escolha do estimador de

Deixe ser uma amostra aleatória tirada a partir de população onde . $(X_1,X_2,\cdots,X_n)$ $\mathcal N(\theta,\theta^2)$ $\theta\in\mathbb R$

Estou procurando o UMVUE de . $\theta$

A densidade da junta de é $(X_1,X_2,\cdots,X_n)$

\begin{aligned} f_{θ} (x_{1}, x_{2}, \dots, x_{n}) & = \prod_{i = 1}^{n} \frac{1}{θ \sqrt{2 π}} \exp [- \frac{1}{2 θ^{2}} (x_{i} - θ)^{2}] \\ = \frac{1}{(θ \sqrt{2 π})^{n}} \exp [- \frac{1}{2 θ^{2}} \sum_{i = 1}^{n} (x_{i} - θ)^{2}] \\ = \frac{1 1}{(θ \sqrt{2 π})^{n}} \exp [\frac{1 1}{θ} \sum_{Eu = 1 1}^{n} x_{Eu} - \frac{1 1}{2 θ^{2}} \sum_{Eu = 1 1}^{n} x_{Eu}^{2} - \frac{n}{2}] \\ = g (θ, T (x)) h (x) \forall (x_{1 1}, \dots, x_{n}) \in R^{n}, \forall θ \in R \end{aligned}

$\begin{align} f_{\theta}(x_1,x_2,\cdots,x_n)&=\prod_{i=1}^n\frac{1}{\theta\sqrt{2\pi}}\exp\left[-\frac{1}{2\theta^2}(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[-\frac{1}{2\theta^2}\sum_{i=1}^n(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right] \\&=g(\theta,T(\mathbf x))h(\mathbf x)\qquad\forall\,(x_1,\cdots,x_n)\in\mathbb R^n\,,\forall\,\theta\in\mathbb R \end{align}$

, onde e . $g(\theta, T(\mathbf x))=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right]$ $h(\mathbf x)=1$

Aqui, $g$ depende de $\theta$ e de $x_1,\cdots,x_n$ a $T(\mathbf x)=\left(\sum_{i=1}^nx_i,\sum_{i=1}^nx_i^2\right)$ e $h$ é independente de $\theta$ . Assim, pelo teorema da fatoração de Fisher-Neyman, a estatística bidimensional $T(\mathbf X)=\left(\sum_{i=1}^nX_i,\sum_{i=1}^nX_i^2\right)$ é suficiente para $\theta$ .

No entanto, $T$ não é uma estatística completa. Isso ocorre porque

E_{θ} [2 {(\sum_{Eu = 1 1}^{n} X_{Eu})}^{2} - (n + 1 1) \sum_{Eu = 1 1}^{n} X_{Eu}^{2}] = 2 n (1 1 + n) θ^{2} - (n + 1 1) 2 n θ^{2} = 0 0 \forall θ

$E_{\theta}\left[2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2\right]=2n(1+n)\theta^2-(n+1)2n\theta^2=0\qquad\forall\,\theta$

e a função não é identicamente zero. $g^*(T(\mathbf X))=2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2$

Mas eu sei que é uma estatística mínima suficiente. $T$

Não tenho certeza, mas acho que uma estatística completa pode não existir para essa família exponencial curvada. Então, como então devo obter o UMVUE? Se uma estatística completa não existir, um estimador imparcial (como , neste caso), que é uma função da estatística mínima suficiente, pode ser o UMVUE? (Tópico relacionado: Qual é a condição necessária para que um estimador imparcial seja UMVUE? ) $\bar X$

E se eu considerar o Melhor estimador linear não-viável (AZUL) de ? O AZUL pode ser o UMVUE? $\theta$

Suponha que eu considere o estimador linear imparcial de que e . Desde que sabemos que . Minha idéia é minimizar para que seja o AZUL de . Would ser então o UMVUE de ? $T^*(\mathbf X)=a\bar X+(1-a)cS$ $\theta$ $c(n)=\sqrt{\frac{n-1}{2}}\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}$ $S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2$ $E_{\theta}(cS)=\theta$ $\text{Var}(T^*)$ $T^*$ $\theta$ $T^*$ $\theta$

Peguei um estimador linear imparcial baseado em e pois também é suficiente para . $\bar X$ $S$ $(\bar X,S^2)$ $\theta$

Editar:

De fato, muito trabalho foi feito na estimativa de na família mais geral em que é conhecido. A seguir estão algumas das referências mais relevantes: $\theta$ $\mathcal N(\theta,a\theta^2)$ $a>0$

Estimando a média de uma distribuição normal com coeficiente de variação conhecido por Gleser / Healy.
Uma observação sobre a estimativa da média de uma distribuição normal com coeficiente de variação conhecido por RA Khan.
Uma observação sobre a estimativa da média de uma distribuição normal com coeficiente de variação conhecido por RA Khan.
Este capítulo extrai.

Encontrei a primeira dessas referências neste exercício da Statistical Inference de Casella / Berger:

Minha pergunta não é sobre esse exercício.

A nota final (o extrato do capítulo) diz que o UMVUE de não existe, $\theta$ pois a estatística mínima suficiente não está completa. Gostaria de saber o que nos permite concluir que um UMVUE não existe simplesmente porque não é possível encontrar uma estatística completa suficiente? Existe algum resultado relacionado a isso? Vejo a existência de UMVUE, mesmo quando estatísticas suficientes completas não existem no segmento vinculado.

Agora, assumindo que não exista um estimador imparcial de variância uniformemente mínima, qual deve ser nosso próximo critério para escolher o 'melhor' estimador? Procuramos o MSE mínimo, a variação mínima ou o MLE? Ou a escolha dos critérios dependeria do nosso objetivo de estimativa?

Por exemplo, digamos que eu tenha um estimador imparcial e outro estimador tendencioso de . Suponha que o MSE de (que é sua variação) seja maior que o de . Como a minimização do MSE significa minimizar o viés e a variação simultaneamente, acho que deveria ser uma escolha 'melhor' de estimador que embora o primeiro seja enviesado. $T_1$ $T_2$ $\theta$ $T_1$ $T_2$ $T_2$ $T_1$

As escolhas prováveis dos estimadores de estão listadas na página 4 da última nota. $\theta$

O extrato a seguir é de Theory of Point Estimation, de Lehmann / Casella (segunda edição, página 87-88):

É altamente provável que eu tenha entendido tudo errado, mas a última frase está dizendo que, sob certas condições, a existência de estatística completa é necessária para a existência do UMVUE? Se sim, é esse o resultado que eu deveria estar olhando?

Esse último resultado devido ao RR Bahadur, mencionado no final, refere-se a esta nota.

Após uma pesquisa mais aprofundada, encontrei um resultado declarando que, se a estatística mínima suficiente não estiver completa, não haverá uma estatística completa. Então, pelo menos, estou bastante convencido de que uma estatística completa não existe aqui.

Outro resultado que esqueci de considerar é o que diz aproximadamente que uma condição necessária e suficiente para que um estimador imparcial seja o UMVUE é que ele deve estar sem correlação com todo estimador imparcial de zero. Tentei usar esse teorema para mostrar que um UMVUE não existe aqui e também o fato de que um estimador imparcial como não é o UMVUE. Mas isso não funciona tão simples como foi feito, por exemplo , aqui , na ilustração final. $\bar X$

— Teimoso
fonte

Atualizar:

Considere o estimador que é fornecido em sua postagem. Este é um estimador imparcial de e será claramente correlacionado com o estimador fornecido abaixo (para qualquer valor de ).

\hat{0} = \bar{X} - c S

$\hat 0 = \bar{X} - cS$

c

$c$

0

$0$

a

$a$

O teorema 6.2.25 da C&B mostra como encontrar estatísticas completas suficientes para a família Exponencial, contanto que contenha um conjunto aberto em . essa distribuição gera e que NÃO forma um conjunto aberto em (já que ) É por isso que a estatística não está completa para e é pelo mesmo motivo que podemos construir um estimador imparcial de que será correlacionado com qualquer estimador imparcial de

{(w_{1} (θ), \dots w_{k} (θ)}

$\{(w_1(\theta), \cdots w_k(\theta)\}$

R^{k}

$\mathbb R^k$

w_{1} (θ) = θ^{- 2}

$w_1(\theta) = \theta^{-2}$

w_{2} (θ) = θ^{- 1}

$w_2(\theta) = \theta^{-1}$

R^{2}

$R^2$

w_{1} (θ) = w_{2} (θ)^{2}

$w_1(\theta) = w_2(\theta)^2$

(\bar{X}, S^{2})

$(\bar{X}, S^2)$

θ

$\theta$

0

$0$

θ

$\theta$ que é baseado nas estatísticas suficientes.

Outra atualização:

A partir daqui, o argumento é construtivo. Deve existir o caso de existir outro estimador imparcial modo que para pelo menos um . $\tilde\theta$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta \in \Theta$

Prova: Suponha que , e (para algum valor de ). Considere um novo estimador Esse estimador é claramente imparcial com a variância Seja . $E(\hat\theta) = \theta$ $E(\hat 0) = 0$ $Cov(\hat\theta, \hat 0) < 0$ $\theta$

\tilde{θ} = \hat{θ} + b \hat{0 0}

$\tilde\theta = \hat\theta + b\hat0$

V uma r (\tilde{θ}) = V uma r (\hat{θ}) + b^{2} V uma r (\hat{0 0}) + 2 b C o v (\hat{θ}, \hat{0 0})

$Var(\tilde\theta) = Var(\hat\theta) + b^2Var(\hat0) + 2bCov(\hat\theta,\hat0)$

M (θ) = \frac{- 2 C o v (\hat{θ}, \hat{0})}{V a r (\hat{0})}

$M(\theta) = \frac{-2Cov(\hat\theta, \hat0)}{Var(\hat0)}$

Por suposição, deve existir um tal que . Se escolhermos , então em . Portanto, não pode ser o UMVUE. $\theta_0$ $M(\theta_0) > 0$ $b \in (0, M(\theta_0))$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta_0$ $\hat\theta$ $\quad \square$

Em resumo: o fato de que está correlacionado com (para qualquer escolha de ) implica que podemos construir um novo estimador que seja melhor que por pelo menos um ponto , violando a uniformidade de reivindicar a melhor imparcialidade. $\hat\theta$ $\hat0$ $a$ $\hat\theta$ $\theta_0$ $\hat\theta$

Vamos examinar mais detalhadamente sua ideia de combinações lineares.

\hat{θ} = uma \bar{X} + (1 1 - uma) c S

$\hat\theta = a \bar X + (1-a)cS$

Como você aponta, é um estimador razoável, pois é baseado em estatísticas suficientes (embora não completas). Claramente, esse estimador é imparcial; portanto, para calcular o MSE, precisamos apenas calcular a variação. $\hat\theta$

\begin{aligned} M S E (\hat{θ}) & = {uma}^{2} V uma r (\bar{X}) + (1 1 - uma)^{2} c^{2} V uma r (S) \\ = \frac{{uma}^{2} θ^{2}}{n} + (1 1 - uma)^{2} c^{2} [E (S^{2}) - E (S)^{2}] \\ = \frac{{uma}^{2} θ^{2}}{n} + (1 1 - uma)^{2} c^{2} [θ^{2} - θ^{2} / c^{2}] \\ = θ^{2} [\frac{{uma}^{2}}{n} + (1 1 - uma)^{2} (c^{2} - 1 1)] \end{aligned}

$\begin{align*} MSE(\hat\theta) &= a^2 Var(\bar{X}) + (1-a)^2 c^2 Var(S) \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[E(S^2) - E(S)^2\right] \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[\theta^2 - \theta^2/c^2\right] \\ &= \theta^2\left[\frac{a^2}{n} + (1-a)^2(c^2 - 1)\right] \end{align*}$

Ao diferenciar, podemos encontrar o "ideal " para um determinado tamanho de amostra . $a$ $n$

{uma}_{o p t} (n) = \frac{c^{2} - 1 1}{1 1 / n + c^{2} - 1 1}

$a_{opt}(n) = \frac{c^2 - 1}{1/n + c^2 - 1}$ que

c^{2} = \frac{n - 1 1}{2} {(\frac{Γ ((n - 1 1) / 2)}{Γ (n / 2)})}^{2}

$c^2 = \frac{n-1}{2}\left(\frac{\Gamma((n-1)/2)}{\Gamma(n/2)}\right)^2$

Um gráfico dessa escolha ótima de é dado abaixo. $a$

É um pouco interessante notar que, como , temos (confirmado por Wolframalpha). $n\rightarrow \infty$ $a_{opt}\rightarrow \frac{1}{3}$

Embora não haja garantia de que este seja o UMVUE, esse estimador é o estimador de variação mínima de todas as combinações lineares imparciais das estatísticas suficientes.

— Knrumsey
fonte

Obrigado pela atualização. Não segui C&B como livro, apenas olhei para os exercícios.

— StubbornAtom

@StubbornAtom Adicionei uma prova demonstrando por que não pode ser UMVUE (emprestado pesadamente da C&B na página 344). Dê uma olhada e deixe-me saber se isso ajuda.

\hat{θ}

$\hat\theta$

— precisa saber é