Relação entre Hessian Matrix e Covariance Matrix

Enquanto estou estudando a estimativa de máxima verossimilhança, para fazer inferência na estimativa de máxima verossimilhança, precisamos conhecer a variação. Para descobrir a variação, preciso conhecer o Rao Lower Limound do Cramer, que se parece com uma Matriz Hessiana com Segunda Derivação na curvatura. Estou meio confuso para definir a relação entre matriz de covariância e matriz de juta. Espero ouvir algumas explicações sobre a questão. Um exemplo simples será apreciado.

— user122358
fonte

Você deve primeiro verificar esta pergunta básica sobre a matriz de informações de Fisher e o relacionamento com erros Hessianos e padrão

Suponha que tenhamos um modelo estatístico (família de distribuições) . No caso mais geral, temos , assim que esta família é parametrizado por . Sob certas condições de regularidade, temos $\{f_{\theta}: \theta \in \Theta\}$ $dim(\Theta) = d$ $\theta = (\theta_1, \dots, \theta_d)^T$

{Eu}_{Eu, j} (θ) = - E_{θ} [\frac{\partial^{2} eu (X; θ)}{\partial θ_{Eu} \partial θ_{j}}] = - E_{θ} [H_{Eu, j} (eu (X; θ))]

$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$

onde é uma matriz de informação de Fisher (como uma função de ) e é o valor observado (amostra) $I_{i,j}$ $\theta$ $X$

eu (X; θ) = eu n (f_{θ} (X)), para alguns θ \in Θ

$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$

Portanto, a matriz de informações de Fisher é um valor esperado negado de Hesian da probabilidade logarítmica sob algum $\theta$

Agora, digamos que queremos estimar alguma função vetorial do parâmetro desconhecido . Normalmente, é desejado que o estimador deve ser neutro, ou seja $\psi(\theta)$ $T(X) = (T_1(X), \dots, T_d(X))$

\forall_{θ \in Θ} E_{θ} [T (X)] = ψ (θ)

$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$

O limite inferior de Cramer Rao afirma que para cada imparcial o satisfaz $T(X)$ $cov_{\theta}(T(X))$

c o v_{θ} (T (X)) \geq \frac{\partial ψ (θ)}{\partial θ} {Eu}^{- 1 1} (θ) (\frac{\partial ψ (θ)}{\partial θ})^{T} = B (θ)

$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$

onde para matrizes significa que é semi-definido positivo , $A \ge B$ $A - B$ é simplesmente um jacobiano. Observe que, se estimarmos, isto é, acima simplificaremos para $\frac{\partial\psi(\theta)}{\partial\theta}$ $J_{i,j}(\psi)$ $\theta$ $\psi(\theta) = \theta$

c o v_{θ} (T (X)) \geq {Eu}^{- 1 1} (θ)

$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$

Mas o que isso nos diz realmente? Por exemplo, lembre-se de que

v uma r_{θ} (T_{Eu} (X)) = [c o v_{θ} (T (X))]_{Eu, Eu}

$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$

$A$

\forall_{Eu} {UMA}_{Eu, Eu} \geq 0 0

$\forall_i\ A_{i,i} \ge 0$

$B(\theta)$

\forall_{Eu} v uma r_{θ} (T_{Eu} (X)) \geq [B (θ)]_{Eu, Eu}

$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$

Portanto, o CRLB não nos diz a variação do nosso estimador, mas se o estimador é ótimo ou não , ou seja, se ele tem uma covariância mais baixa entre todos os estimadores imparciais.

— Łukasz Grad
fonte

Agradeço sua explicação aqui. Eu não sou realmente uma pessoa de matemática, mas estou no caminho de aprender a matemática seriamente. No entanto, ainda parece muito abstrato para mim. Espero que exista algum exemplo gentil com números simples, que definitivamente o entenda.

— user122358