Estimador de James-Stein com variações desiguais

Toda afirmação que encontro do estimador James-Stein assume que as variáveis aleatórias estimadas têm a mesma variação (e unidade).

Mas todos esses exemplos também mencionam que o estimador JS pode ser usado para estimar quantidades sem nada a ver um com o outro. O exemplo da Wikipedia é a velocidade da luz, o consumo de chá em Taiwan e o peso do porco em Montana. Mas, presumivelmente, suas medições nessas três quantidades teriam diferentes variações "verdadeiras". Isso apresenta algum problema?

Isso está vinculado a um problema conceitual maior que eu não entendo, relacionado a esta pergunta: Estimador de James-Stein: Como Efron e Morris calcularam no fator de contração no exemplo de beisebol? $\sigma^2$ Calculamos o fator de contração seguinte maneira: $c$

c = 1 - \frac{(k - 3) σ^{2}}{\sum (y - \bar{y})^{2}}

$c = 1 - \frac{(k-3) \sigma^2} {\sum (y - \bar{y})^2}$

Intuitivamente, eu pensaria que o termo é realmente - diferente para cada quantidade estimada. Mas a discussão nessa pergunta fala apenas sobre o uso da variação combinada ... $\sigma^2$ $\sigma^2_i$

Eu realmente apreciaria se alguém pudesse esclarecer essa confusão!

estimation shrinkage steins-phenomenon

— exp1orer
fonte

Se a variação for , podemos apenas multiplicar à esquerda por para voltar ao problema de James-Stein. Se é desconhecido, mas cada "observação" no problema é uma média amostral calculada com base em observações, podemos estimar com algum e esperar que também tenhamos uma situação de James-Stein se pré-multiplicarmos por vez disso.

D = diag (σ_{1}^{2}, \dots, σ_{n}^{2})

$D = \mbox{diag}(\sigma_1^2, \ldots, \sigma_n^2)$

D^{- 1 / 2}

$D^{-1/2}$

D

$D$

m_{i}

$m_i$

D

$D$

\hat{D}

$\hat D$

{\hat{D}}^{- 1 / 2}

$\hat D^{-1/2}$

— cara

@ cara: esta é uma sugestão sensata (+1), no entanto, isso resultará no mesmo fator de encolhimento para todas as variáveis, enquanto que alguém desejaria encolher variáveis de forma diferente, dependendo de sua variação / incerteza. Veja a resposta que acabei de postar.

— Ameba diz Reinstate Monica 4/04

@amoeba Claro; Eu não estava sugerindo que meu estimador fosse prático, apenas que ilustrava por que as pessoas dizem as coisas que o OP mencionou em seu segundo parágrafo.

— cara

Essa questão foi explicitamente respondida na série clássica de artigos sobre o estimador de James-Stein no contexto empírico de Bayes, escrito na década de 1970 por Efron & Morris. Refiro-me principalmente a:

Efron e Morris, 1973, a regra de estimativa de Stein e seus concorrentes - uma abordagem empírica de Bayes
Efron e Morris, 1975, Análise de Dados com o Estimador de Stein e Suas Generalizações
Efron e Morris, 1977, Paradoxo de Stein em Estatística

O artigo de 1977 é uma exposição não técnica que deve ser lida. Lá, eles apresentam o exemplo de rebatidas de beisebol (que é discutido no tópico ao qual você vinculou); neste exemplo, as variações de observação devem ser iguais para todas as variáveis e o fator de contração é constante. $c$

No entanto, eles passam a dar outro exemplo, que é estimar as taxas de toxoplasmose em várias cidades de El Salvador. Em cada cidade, um número diferente de pessoas foi pesquisado e, portanto, as observações individuais (taxa de toxoplasmose em cada cidade) podem ter variações diferentes (quanto menor o número de pessoas pesquisadas, maior a variação). A intuição é certamente que os pontos de dados com baixa variação (baixa incerteza) não precisam ser encolhidos tão fortemente quanto os pontos de dados com alta variação (alta incerteza). O resultado de sua análise é mostrado na figura a seguir, onde isso pode realmente ser visto como acontecendo:

insira a descrição da imagem aqui

Os mesmos dados e análises são apresentados no artigo muito mais técnico de 1975, em uma figura muito mais elegante (infelizmente, embora não mostre as variações individuais), consulte a Seção 3:

insira a descrição da imagem aqui

Lá eles apresentam um tratamento empírico simplificado de Bayes, que é o seguinte. Seja onde é desconhecido. No caso de todos os serem idênticos, o tratamento empírico padrão de Bayes é estimar como e calcular a média a posteriori de como que não é nada além do estimador James-Stein.

X_{i} | θ_{i} \sim N (θ_{i}, D_{i}) θ_{i} \sim N (0, A)

$X_i|\theta_i \sim \mathcal N(\theta_i, D_i)\\ \theta_i \sim \mathcal N(0, A)$

A

$A$

D_{i} = 1

$D_i=1$

1 / (1 + A)

$1/(1+A)$

(k - 2) / \sum X_{j}^{2}

$(k-2)/\sum X_j ^2$

θ_{i}

$\theta_i$

{\hat{θ}}_{i} = (1 - \frac{1}{1 + A}) X_{i} = (1 - \frac{k - 2}{\sum X_{j}^{2}}) X_{i},

$\hat \theta_i = \left(1-\frac{1}{1+A}\right)X_i = \left(1-\frac{k-2}{\sum X_j^2}\right)X_i,$

Se agora , a regra de atualização de Bayes é e podemos usar o mesmo truque empírico de Bayes para estimar , mesmo que não exista uma fórmula fechada para neste caso (consulte o documento). No entanto, eles observam que $D_i \ne 1$

{\hat{θ}}_{i} = (1 - \frac{D_{i}}{D_{i} + A}) X_{i}

$\hat \theta_i = \left(1-\frac{D_i}{D_i+A}\right)X_i$

A

$A$

\hat{A}

$\hat A$

... essa regra não se reduz a de Stein quando todos os são iguais e, em vez disso, usamos uma variante menor desse estimador derivada no [artigo de 1973] que se reduz a de Stein. A regra de variante estima um valor diferente para cada cidade. A diferença entre as regras é pequena nesse caso, mas pode ser importante se for menor. $D_j$ $\hat A_i$ $k$

A seção relevante no documento de 1973 é a Seção 8, e é um pouco mais difícil de ler. Curiosamente, eles têm um comentário explícito na sugestão feita por @guy nos comentários acima:

Uma maneira muito simples de generalizar a regra de James-Stein para essa situação é definir , para que , aplique [a regra original de James-Stein] aos dados transformados e depois volte às coordenadas originais. A regra resultante estima por Isso não é atraente, pois cada é reduzido em direção à origem pelo mesmo fator. $\tilde x_i = D_i^{-1/2} x_i, \tilde \theta_i = D_i^{-1/2} \theta_i$ $\tilde x_i \sim \mathcal N(\tilde \theta_i, 1)$ $\theta_i$
${\hat{θ}}_{i} = (1 - \frac{k - 2}{\sum [X_{j}^{2} / D_{j}]}) X_{i} .$ $\hat \theta_i = \left(1-\frac{k-2}{\sum [X_j^2 / D_j]}\right)X_i.$ $X_i$

Depois, eles descrevem seu procedimento preferido para estimar que devo confessar que ainda não li completamente (está um pouco envolvido). Sugiro que você procure lá se estiver interessado nos detalhes. $\hat A_i$

— ameba diz Restabelecer Monica
fonte