Como você calcula erros padrão para uma transformação do MLE?

Eu preciso fazer inferência sobre um parâmetro positivo . Para acomodar a positividade, reparametrizei . Usando a rotina do MLE, calculei a estimativa de pontos e se para . A propriedade invariância do MLE me fornece diretamente uma estimativa de pontos para , mas não sei como calcular se para . Agradeço antecipadamente por qualquer sugestão ou referência. $p$ $p=\exp(q)$ $q$ $p$ $p$

maximum-likelihood standard-error delta-method

— Marcel
fonte

Você não pode usar a mesma rotina do MLE para calcular diretamente uma estimativa de pontos e se ?

p

$p$

— whuber

Respostas:

O método Delta é usado para essa finalidade. Sob algumas suposições de regularidade padrão , sabemos que o MLE, para é aproximadamente (ou seja, assintoticamente) distribuído como $\hat{\theta}$ $\theta$

\hat{θ} \sim N (θ, I^{- 1} (θ))

$\hat{\theta} \sim N(\theta, \mathcal{I}^{-1}(\theta))$

onde é o inverso das informações de Fisher para toda a amostra, avaliada em e denota a distribuição normal com média e variação . A invariância funcional do MLE diz que o MLE de , onde é alguma função conhecida, é (como você apontou) e tem distribuição aproximada $\mathcal{I}^{-1}(\theta)$ $\theta$ $N(\mu,\sigma^{2})$ $\mu$ $\sigma^{2}$ $g(\theta)$ $g$ $g(\hat{\theta})$

g (\hat{θ}) \sim N (g (θ), I^{- 1} (θ) [g^{'} (θ)]^{2})

$g(\hat{\theta}) \sim N( g(\theta), \mathcal{I}^{-1}(\theta) [g'(\theta)]^{2} )$

onde você pode conectar estimadores consistentes para quantidades desconhecidas (por exemplo, conectar onde aparece na variação). Eu assumiria que os erros padrão que você possui são baseados nas informações de Fisher (já que você possui MLEs). Indique esse erro padrão por . Então, o erro padrão de , como no seu exemplo, é $\hat{\theta}$ $\theta$ $s$ $e^{\hat{\theta} }$

\sqrt{s^{2} e^{2 \hat{θ}}}

$\sqrt{s^{2}e^{2 \hat{\theta}}}$

Eu posso estar interpretando você para trás e, na realidade, você tem a variação do MLE de e deseja a variação do MLE de , caso em que o padrão seria $\theta$ $\log(\theta)$

\sqrt{s^{2} / {\hat{θ}}^{2}}

$\sqrt{ s^{2}/\hat{\theta}^{2} }$

— Macro
fonte

Apenas uma observação: também existem extensões multivariadas apropriadas nas quais as derivadas são substituídas por gradientes, e as multiplicações devem ser multiplicações de matriz; portanto, há um pouco mais de dor de cabeça em descobrir para onde vai a transposição.

— StasK

Obrigado por apontar o StasK. Eu acredito que no caso multivariado a covariância assintótica de é

g (\hat{θ})

$g(\hat{\theta})$

\nabla g (θ)^{'} I (θ)^{- 1} \nabla g (θ)

$\nabla g(\theta)' \mathcal{I}(\theta)^{-1} \nabla g(\theta)$

— Macro

(+1) Adicionei um link para as premissas de regularidade (e algumas outras coisas), pois não está claro se elas estão satisfeitas com o problema do OP. Eu poderia ter dito que é assintoticamente normal e não aproximadamente normal, já que as taxas de convergência podem ser lentas às vezes.

\hat{θ}

$\hat{\theta}$

— MånsT

Obrigado @ MånsT, eu também queria esclarecer que eu quis dizer assintoticamente quando eu disse aproximadamente :)

— Macro

A macro deu a resposta correta sobre como transformar erros padrão por meio do método delta. Embora o OP tenha solicitado especificamente os erros padrão, suspeito que o objetivo seja produzir intervalos de confiança para . Além de calcular os erros padrão estimados de você pode transformar diretamente um intervalo de confiança, , na parametrização em um intervalo de confiança no -parametrização. Isso é perfeitamente válido e pode até ser uma idéia melhor, dependendo de quão bem a aproximação normal usada para justificar um intervalo de confiança com base em erros padrão funcione na parametrização versus $p$ $\hat{p}$ $[q_1, q_2]$ $q$ $[\exp(q_1), \exp(q_2)]$ $p$ $q$ $p$ -parametrização. Além disso, o intervalo de confiança diretamente transformado cumprirá a restrição de positividade.

— NRH
fonte