Pergunta básica sobre a matriz de informações de Fisher e a relação com erros Hessianos e padrão

54

Ok, essa é uma pergunta bastante básica, mas estou um pouco confusa. Na minha tese, escrevo:

Os erros padrão podem ser encontrados calculando o inverso da raiz quadrada dos elementos diagonais da matriz (observada) de Fisher Information:

\begin{aligned} s_{\hat{μ}, {\hat{σ}}^{2}} = \frac{1}{\sqrt{I (\hat{μ}, {\hat{σ}}^{2})}} \end{aligned}

$\begin{align*} s_{\hat{\mu},\hat{\sigma}^2}=\frac{1}{\sqrt{\mathbf{I}(\hat{\mu},\hat{\sigma}^2)}} \end{align*}$ Como o comando de otimização em R minimiza a matriz Fisher Information (observada) pode ser encontrada calculando o inverso do Hessian:

- \log L

$-\log\mathcal{L}$

\begin{aligned} I (\hat{μ}, {\hat{σ}}^{2}) = H^{- 1} \end{aligned}

$\begin{align*} \mathbf{I}(\hat{\mu},\hat{\sigma}^2)=\mathbf{H}^{-1} \end{align*}$

Minha principal pergunta: está correto o que estou dizendo ?

Estou um pouco confuso, porque nesta fonte da página 7 diz:

a matriz da informação é negativa do valor esperado da matriz hessiana

(Portanto, não o inverso do Hessian.)

Visto que nesta fonte da página 7 (nota 5) diz:

A informação observada de Fisher é igual a . $(-H)^{-1}$

(Então aqui está o inverso.)

Estou ciente do sinal de menos e quando usá-lo e quando não, mas por que há uma diferença em tomar o inverso ou não?

maximum-likelihood fisher-information

— Jen Bohold
fonte

@COOLSerdash Obrigado por suas correções e +1, mas esta fonte: unc.edu/~monogan/computing/r/MLE_in_R.pdf página 7 diz claramente que as informações de Fisher observadas são iguais às INVERSAS do Hessian?

— Jen Bohold

@COOLSerdash Ok, você pode postar isso como resposta.

— Jen Bohold

75

Yudi Pawitan escreve em seu livro In All Likelihood que a segunda derivada da probabilidade logarítmica avaliada nas estimativas de máxima verossimilhança (MLE) é a informação observada de Fisher (consulte também este documento , página 2). É exatamente isso que a maioria dos algoritmos de otimização gosta optimem Rtroca: o Hessian avaliado no MLE. Quando o negativoprobabilidade de log é minimizada, o Hessian negativo é retornado. Como você aponta corretamente, os erros padrão estimados do MLE são as raízes quadradas dos elementos diagonais do inverso da matriz de informações de Fisher observada. Em outras palavras: as raízes quadradas dos elementos diagonais do inverso do hessiano (ou do hessiano negativo) são os erros padrão estimados.

Sumário

O Hessian negativo avaliado no MLE é o mesmo que a matriz de informações de Fisher observada avaliada no MLE.
Em relação à sua pergunta principal: Não, não é correto que as informações de Fisher observadas possam ser encontradas invertendo o Hessiano (negativo).
Em relação à sua segunda pergunta: O inverso do Hessiano (negativo) é um estimador da matriz de covariância assintótica. Portanto, as raízes quadradas dos elementos diagonais da matriz de covariância são estimadores dos erros padrão.
Acho que o segundo documento vinculado está errado.

Formalmente

Seja uma função de probabilidade de log. A matriz de informações de Fisher é uma matriz simétrica contém as entradas: A matriz de informações observada de Fisher é simplesmente , a matriz de informação avaliada com base nas estimativas de máxima verossimilhança (MLE). O Hessiano é definido como: $l(\theta)$ $\mathbf{I}(\theta)$ $(p\times p)$

I (θ) = - \frac{\partial^{2}}{\partial θ_{i} \partial θ_{j}} l (θ), 1 \leq i, j \leq p

$\mathbf{I}(\theta)=-\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$

I ({\hat{θ}}_{M L})

$\mathbf{I}(\hat{\theta}_{\mathrm{ML}})$

H (θ) = \frac{\partial^{2}}{\partial θ_{i} \partial θ_{j}} l (θ), 1 \leq i, j \leq p

$\mathbf{H}(\theta)=\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$ Nada mais é do que a matriz de segundas derivadas da função de probabilidade em relação aos parâmetros. Daqui resulta que, se você minimizar a probabilidade logarítmica negativa , o Hessian retornado é o equivalente à matriz de informações Fisher observada, enquanto no caso de você maximizar a probabilidade logarítmica, o Hessian negativo é a matriz de informações observadas.

Além disso, o inverso da matriz de informações de Fisher é um estimador da matriz de covariância assintótica: Os erros padrão são as raízes quadradas dos elementos diagonais da matriz de covariância. Para a distribuição assintótica de uma estimativa de máxima verossimilhança, podemos escrever que indica o valor verdadeiro do parâmetro. Portanto, o erro padrão estimado das estimativas de máxima verossimilhança é dado por:

V a r ({\hat{θ}}_{M L}) = [I ({\hat{θ}}_{M L})]^{- 1}

$\mathrm{Var}(\hat{\theta}_{\mathrm{ML}})=[\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}$

{\hat{θ}}_{M L} \overset{a}{\sim} N (θ_{0}, [I ({\hat{θ}}_{M L})]^{- 1})

$\hat{\theta}_{\mathrm{ML}}\stackrel{a}{\sim}\mathcal{N}\left(\theta_{0}, [\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}\right)$

θ_{0}

$\theta_{0}$

S E ({\hat{θ}}_{M L}) = \frac{1}{\sqrt{I ({\hat{θ}}_{M L})}}

$\mathrm{SE}(\hat{\theta}_{\mathrm{ML}})=\frac{1}{\sqrt{\mathbf{I}(\hat{\theta}_{\mathrm{ML}})}}$

— COOLSerdash
fonte

11

deve dizer "quando a probabilidade de log negativa for minimizada " (ou otimizada ).

— Cmo

8

As informações (esperadas) de Fisher são ; as informações observadas (Fisher) são apenas , assim chamadas não porque são avaliadas na estimativa de similaridade máxima de , mas porque são uma função dos dados observados e não uma média das observações possíveis. Talvez isso seja obscurecido por exemplos familiares, considerando a inferência sobre o parâmetro canônico em uma família exponencial completa, quando .

I (θ) = E I (θ)

$\mathcal{I}(\theta)=\operatorname{E}I(\theta)$

I (θ)

$I(\theta)$

θ

$\theta$

I (θ) = I (θ)

$\mathcal{I}(\theta)=I(\theta)$

— Scortchi - Restabelece Monica

6

A estimativa das funções de probabilidade envolve um processo de duas etapas.

Primeiro, declara-se a função de probabilidade de log. otimiza-se as funções de probabilidade de log. Isso é bom.

Escrevendo as funções de probabilidade de log em R, solicitamos (onde representa a função de probabilidade de log) porque o comando optim em R minimiza uma função por padrão. minimização de -l é o mesmo que maximização de l, que é o que queremos. $-1*l$ $l$

Agora, a matriz de informações de Fisher observada é igual a . a razão pela qual não precisamos multiplicar o hassiano por -1 é que toda a avaliação foi feita em termos de -1 vezes a probabilidade logarítmica. Isso significa que o hessian que é produzido por optim já é multiplicado por -1 $(-H)^-1$

— Adelino Martins
fonte