Estimadores de probabilidade máxima para uma distribuição truncada

Considere amostras independentes obtidas de uma variável aleatória que se supõe seguir uma distribuição truncada (por exemplo, uma distribuição normal truncada ) de valores mínimos e máximos conhecidos (finitos) e mas com parâmetros desconhecidos e . Se seguido uma distribuição não-truncada, os estimadores da probabilidade máxima e para e de seria a média da amostra $N$ $S$ $X$ $a$ $b$ $\mu$ $\sigma^2$ $X$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $S$ e a variância da amostra $\widehat\mu = \frac{1}{N} \sum_i S_i$ . Entretanto, para uma distribuição truncada, a variação da amostra definida dessa maneira é delimitada porportanto nem sempre é um estimador consistente: para, não pode convergir em probabilidade paracomovai para o infinito. Assim, parece que enão são os estimadores de máxima probabilidade de $\widehat\sigma^2 = \frac{1}{N} \sum_i (S_i - \widehat\mu)^2$ $(b-a)^2$ $\sigma^2 > (b-a)^2$ $\sigma^2$ $N$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ e para uma distribuição truncada. Obviamente, isso é esperado, já que os parâmetros e de uma distribuição normal truncada não são sua média e variância. $\sigma^2$ $\mu$ $\sigma^2$

Então, quais são os estimadores de máxima verossimilhança dos parâmetros e de uma distribuição truncada de valores mínimos e máximos conhecidos? $\mu$ $\sigma$

— a3nm
fonte

Você tem certeza da sua análise? Eu acho que você está fazendo uma suposição inválida: para a situação truncada, o LEM de

não é mais a variação da amostra (e, em geral, o LEM de

não é mais a média da amostra)!

σ^{2}

$\sigma^2$

μ

$\mu$

— whuber

whuber: Eu sei, esta é precisamente a minha pergunta: quais são os MLEs de

no caso truncado? Adicionando uma frase para insistir nisso.

σ^{2}

$\sigma^2$

μ

$\mu$

— a3nm

Não há uma solução de formulário fechado. Tudo o que você pode fazer é minimizar numericamente a probabilidade do log. Mas isso não é qualitativamente diferente de muitos outros modelos, como a regressão logística, que também não possui solução de forma fechada.

— whuber

whuber: Se isso é verdade, isso é bastante decepcionante. Você tem referências sobre a falta de soluções de formulário fechado? Existem estimadores de formato fechado que não têm probabilidade máxima, mas são pelo menos consistentes (e opcionalmente imparciais?).

— a3nm

@ whuber: Você pode pelo menos simplificar suas amostras em estatísticas suficientes para que a minimização seja rápida?

— Neil G

Considere qualquer família em escala de localização determinada por uma distribuição "padrão" , $F$

Ω_{F} = {F_{(μ, σ)} : x \to F (\frac{x - μ}{σ}) ∣ σ > 0} .

$\Omega_F = \left\{F_{(\mu, \sigma)}: x \to F\left(\frac{x-\mu}{\sigma}\right) \mid \sigma \gt 0\right\}.$

Supondo que diferenciável, descobrimos facilmente que os PDFs são $F$ . $\frac{1}{\sigma}f\left((x-\mu)/\sigma\right)dx$

Truncando estas distribuições para restringir o seu apoio entre e , , meios que os PDF são substituídos pelos $a$ $b$ $a \lt b$

f_{(μ, σ; a, b)} (x) = \frac{f (\frac{x - μ}{σ}) d x}{σ C (μ, σ, a, b)}, a \leq x \leq b

$f_{(\mu, \sigma; a,b)}(x) = \frac{f\left(\frac{x-\mu}{\sigma}\right)dx}{\sigma C(\mu, \sigma, a, b)}, a \le x \le b$

$x$ $C(\mu, \sigma, a, b) = F_{(\mu,\sigma)}(b) - F_{(\mu,\sigma)}(a)$ $f_{(\mu, \sigma; a, b)}$ $C$ $1$ $x_i$

Λ (μ, σ) = \sum_{i} [\log f (\frac{x_{i} - μ}{σ}) - \log σ - \log C (μ, σ, a, b)] .

$\Lambda(\mu, \sigma) = \sum_i \left[\log{f\left(\frac{x_i-\mu}{\sigma}\right)} - \log{\sigma}-\log{C(\mu, \sigma, a, b)}\right].$

$\sigma=0$

\begin{aligned} 0 & = \frac{\partial Λ}{\partial μ} & = \sum_{i} [\frac{- f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} - \frac{C_{μ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \\ 0 & = \frac{\partial Λ}{\partial σ} & = \sum_{i} [\frac{- f_{σ} (\frac{x_{i} - μ}{σ})}{σ^{2} f (\frac{x_{i} - μ}{σ})} - \frac{1}{σ} - \frac{C_{σ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \end{aligned}

$\eqalign{ 0 &= \frac{\partial\Lambda}{\partial\mu} &= \sum_i \left[\frac{-f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{C_\mu(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] \\ 0 &= \frac{\partial\Lambda}{\partial\sigma} &= \sum_i \left[\frac{-f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{\sigma^2f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{1}{\sigma}-\frac{C_\sigma(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] }$

$a$ $b$ $nC_\mu(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $A(\mu,\sigma)$ $nC_\sigma(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $B(\mu, \sigma)$

\begin{aligned} - A (μ, σ) & = \sum_{i} \frac{f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \\ - σ^{2} B (μ, σ) - n σ & = \sum_{i} \frac{f_{σ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \end{aligned}

$\eqalign{ -A(\mu,\sigma) &= \sum_i \frac{f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} \\ -\sigma^2 B(\mu,\sigma) - n\sigma &= \sum_i \frac{f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} }$

Comparando-os com a situação de não truncamento, é evidente que

Quaisquer estatísticas suficientes para o problema original são suficientes para o problema truncado (porque o lado direito não foi alterado).
$A$ $B$ $\mu$ $\sigma$

$C(\mu,\sigma,a,b)$

— whuber
fonte

f_{μ}

$f_\mu$

f_{σ}

$f_\sigma$

C_{μ}

$C_\mu$

C_{σ}

$C_\sigma$

x \in [a, b]

$x \in [a, b]$

C_{μ} = \frac{\partial}{\partial μ} C (μ, σ, a, b)

$C_\mu = \frac{\partial}{\partial\mu}C(\mu,\sigma,a,b)$

Além disso, como sua resposta é mais geral do que a esperada, editei minha pergunta para insistir menos no caso de distribuições normais. Mais uma vez obrigado pelo seu esforço.

— a3nm

Era mais fácil explicar nesse nível de generalidade em comparação com o foco nas distribuições normais! Computar as derivadas e mostrar a forma precisa do CDF são distrações desnecessárias (embora úteis quando você começa a codificar a solução numérica).

— whuber

Obrigado por corrigir! Você perdeu um deles; você poderia revisar minha edição?

— a3nm