Determinando a média verdadeira a partir de observações ruidosas

Eu tenho um grande conjunto de pontos de dados do formulário (mean, stdev). Desejo reduzir isso para uma única (melhor) média e um (espero) menor desvio padrão.

É evidente que poderia simplesmente computação , no entanto, isso não leva em conta o fato de que alguns dos pontos de dados são significativamente mais precisos que outros. $\frac{\sum data_{mean}}{N}$

Simplificando, desejo pré-formar uma média ponderada desses pontos de dados, mas não sei qual deve ser a função de ponderação em termos do desvio padrão.

normal-distribution repeated-measures weighted-mean

— Michael
fonte

Você procura um estimador linear para a média do formulário $\mu$

\hat{μ} = \sum_{Eu = 1}^{n} α_{Eu} x_{Eu}

$\hat{\mu} = \sum_{i=1}^{n} \alpha_i x_i$

onde o são os pesos e os são as observações. O objetivo é encontrar valores apropriados para os pesos. Seja o verdadeiro desvio padrão de , que pode ou não coincidir com o desvio padrão estimado que você provavelmente possui. Suponha que as observações sejam imparciais; isto é, todas as expectativas são iguais à média . Nestes termos, podemos calcular que a expectativa de é $\alpha_i$ $x_i$ $\sigma_i$ $x_i$ $\mu$ $\hat{\mu}$

E [\hat{μ}] = \sum_{Eu = 1}^{n} α_{Eu} E [x_{Eu}] = μ \sum_{Eu = 1}^{n} α_{Eu}

$\mathbb{E}[\hat{\mu}] = \sum_{i=1}^{n} \alpha_i \mathbb{E}[x_i] = \mu \sum_{i=1}^{n} \alpha_i$

e (desde que não esteja correlacionado), a variação deste estimador é $x_i$

Var [\hat{μ}] = \sum_{Eu = 1}^{n} α_{Eu}^{2} σ_{Eu}^{2} .

$\operatorname{Var}\left[\hat{\mu}\right] = \sum_{i=1}^{n} \alpha_i^2 \sigma_i^2.$

Nesse ponto, muitas pessoas exigem que o estimador seja imparcial; isto é, queremos que sua expectativa seja igual à verdadeira média. Isso implica que os pesos devem somar à unidade. Sujeito a essa restrição, a precisão do estimador (medida com erro quadrático médio) é otimizada minimizando a variação. A solução exclusiva (facilmente obtida com um multiplicador de Lagrange ou reinterpretando a situação geometricamente como um problema de minimização de distância) é que os pesos devem ser proporcionais a . $\alpha_i$ $1/\sigma_i^2$ A restrição de soma à unidade estabelece seus valores, produzindo

\hat{μ} = \frac{\sum_{Eu = 1}^{n} x_{Eu} / σ_{Eu}^{2}}{\sum_{Eu = 1}^{n} 1 / σ_{Eu}^{2}}

$\hat{\mu} = \frac{\sum_{i=1}^{n} x_i / \sigma_i^2}{\sum_{i=1}^{n} 1 / \sigma_i^2}$

Var [\hat{μ}] = \frac{1}{\sum_{Eu = 1}^{n} 1 / σ_{Eu}^{2}} = \frac{1}{n} {(\frac{1}{n} \sum_{Eu = 1}^{n} \frac{1}{σ_{Eu}^{2}})}^{- 1} .

$\operatorname{Var}\left[\hat\mu\right] = \frac{1}{\sum_{i=1}^{n} 1 / \sigma_i^2} = \frac{1}{n} \left(\frac{1}{n} \sum_{i=1}^n \frac{1}{\sigma_i^2}\right)^{-1}.$

Em palavras,

$1/n$

$\sigma_i$

— whuber
fonte

e relacionado a esta resposta, também da whuber: stats.stackexchange.com/questions/9071/…

— Henry

O que aconteceria se não "assumimos que as observações são imparciais"? Com essa afirmação, você está dizendo que, se infinitas medidas individuais aleatórias forem adicionadas à observação

x_{i}

$x_i$ nós obtemos o mu médio?

— precisa saber é o seguinte