Determinante da matriz de informações de Fisher para um modelo superparameterizado

Considere uma variável aleatória Bernoulli com o parâmetro (probabilidade de sucesso). A função de probabilidade e as informações de Fisher (uma matriz ) são: $X\in\{0,1\}$ $\theta$ $1 \times 1$

\begin{aligned} L_{1} (θ; X) & = p (X | θ) = θ^{X} (1 - θ)^{1 - X} \\ I_{1} (θ) & = det I_{1} (θ) = \frac{1}{θ (1 - θ)} \end{aligned}

$\begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align}$

Agora considere uma versão "com excesso de parâmetros" com dois parâmetros: a probabilidade de sucesso $\theta_1$ e a probabilidade de falha $\theta_0$ . (Observe que $\theta_1+\theta_0=1$ , e essa restrição implica que um dos parâmetros é redundante.) Nesse caso, a função de verossimilhança e a matriz de informações de Fisher (FIM) são:

\begin{aligned} L_{2} (θ_{1}, θ_{0}; X) & = p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X} \\ I_{2} (θ_{1}, θ_{0}) & = (\begin{matrix} \frac{1}{θ_{1}} & 0 \\ 0 & \frac{1}{θ_{0}} \end{matrix}) \\ det I_{2} (θ) & = \frac{1}{θ_{1} θ_{0}} = \frac{1}{θ_{1} (1 - θ_{1})} \end{aligned}

$\begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align}$

Observe que os determinantes desses dois FIMs são idênticos. Além disso, essa propriedade se estende ao caso mais geral de modelos categóricos (ou seja, mais de dois estados). Também parece se estender aos modelos log-lineares com vários subconjuntos de parâmetros restritos a zero; nesse caso, o parâmetro "redundante" extra corresponde à função de partição de log, e a equivalência dos dois determinantes da MIF pode ser mostrada com base no complemento Schur da MIF maior. (Na verdade, para modelos log-lineares, o FIM menor é apenas o complemento de Schur do FIM maior.)

Alguém pode explicar se essa propriedade se estende a um conjunto maior de modelos paramétricos (por exemplo, a todas as famílias exponenciais), permitindo a opção de derivar os determinantes da MIF com base em um conjunto de parâmetros "estendido"? Ou seja, assuma qualquer modelo estatístico com parâmetros, que se encontram em uma variedade dimensional incorporada em um espaço -dimensional. Agora, se estendermos o conjunto de parâmetros para incluir mais uma dimensão (que é totalmente restrita com base nas outras) e computarmos o FIM com base nesses parâmetros , sempre obteremos o mesmo determinante que o baseado no original parâmetros (independentes)? Além disso, como esses dois FIMs estão relacionados? $n$ $n$ $(n+1)$ $(n+1)$ $n$

A razão pela qual faço essa pergunta é que o FIM com o parâmetro extra geralmente parece mais simples. Meu primeiro pensamento é que isso não deve funcionar em geral. O FIM envolve o cálculo de derivadas parciais da probabilidade do log em cada parâmetro. Essas derivadas parciais assumem que, enquanto o parâmetro em questão é alterado, todos os outros parâmetros permanecem constantes, o que não é verdade quando envolvemos o parâmetro extra (restrito). Nesse caso, parece-me que as derivadas parciais não são mais válidas porque não podemos assumir que os outros parâmetros sejam constantes; no entanto, ainda tenho que encontrar evidências de que isso é realmente um problema. (Se derivadas parciais são problemáticas em casos com parâmetros dependentes, são derivadas totais $(n+1) \times (n+1)$ necessário? Ainda não vi um exemplo de cálculo do FIM com derivadas totais, mas talvez essa seja a solução ...)

O único exemplo que eu pude encontrar on-line que calcula o FIM com base em um conjunto "estendido" de parâmetros é o seguinte: estas notas contêm um exemplo para a distribuição categórica, calculando as derivadas parciais necessárias como de costume (ou seja, como se cada parâmetro fosse independente , mesmo que uma restrição esteja presente entre os parâmetros).

— Tyler Streeter
fonte

Boa pergunta! Eu acho que a especificação de dois parâmetros da variável aleatória Bernoulli é um exemplo bastante infeliz, porque sem a restrição, não é mais obrigado a ser densidade. Você pode reproduzir sua observação para uma família exponencial curvada, por exemplo?

p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X}

$p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X}$

— Khashaa

@Khashaa Estou assumindo que a restrição se aplica no caso de dois parâmetros (o que você mencionou), portanto a função de probabilidade ainda será uma densidade válida. Além disso, sim, eu posso reproduzir esta observação, por exemplo, para modelos log-lineares com vários subconjuntos de parâmetros restritos a zero; nesse caso, o parâmetro "redundante" corresponde à função de partição de log.

θ_{1} + θ_{2} = 1

$\theta_1 + \theta_2 = 1$

— Tyler Streeter

Que tal ?

N (μ, μ^{2})

$N(\mu, \mu^2)$

— Khashaa

Respostas:

Para normal , a matriz de informações é Para curvado normalPortanto, sua observação de que os determinantes são iguais não é universal, mas essa não é a história toda. $X\sim N(\mu,\sigma^2)$

I_{1} = (\begin{matrix} \frac{1}{σ^{2}} & 0 \\ 0 & \frac{1}{2 σ^{4}} \end{matrix})

$\mathcal{I}_1 = \left( \begin{matrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{matrix} \right)$

X \sim N (μ, μ^{2})

$X\sim N(\mu,\mu^2)$

I_{2} = \frac{3}{μ^{2}} .

$\mathcal{I}_2=\frac{3}{\mu^2}.$

Geralmente, se é a matriz de informações sob a reparametrização então não é difícil ver que a matriz de informação para os parâmetros originais é que é o jacobiano da transformação . $\mathcal{I}_g$

g (θ) = (g_{1} (θ), . . ., g_{k} (θ))^{'},

$g(\theta)=(g_1(\theta),...,g_k(\theta))',$

I (θ) = G^{'} I_{g} (g (θ)) G

$I(\theta)=G'I_g(g(\theta))G$

G

$G$

g = g (θ)

$g=g(\theta)$

Por exemplo Bernoulli e . Portanto, o jacobiano é e, portanto, $(\theta_0,\theta_1)=(p,1-p)$ $g(p)=(p,1-p)$ $(1,-1)'$

I (p) = (\begin{matrix} 1 & - 1 \end{matrix}) (\begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1 - p} \end{matrix}) (\begin{matrix} 1 \\ - 1 \end{matrix}) = \frac{1}{p (1 - p)}

$\mathcal{I}(p) = \left( \begin{matrix} 1& -1 \end{matrix} \right)\left( \begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1-p} \end{matrix} \right) \left( \begin{matrix} 1 \\ -1 \end{matrix} \right)=\frac{1}{p(1-p)}$

Para exemplo normal curvo,

I_{2} = (\begin{matrix} 1 & 2 μ \end{matrix}) (\begin{matrix} \frac{1}{μ^{2}} & 0 \\ 0 & \frac{1}{2 μ^{4}} \end{matrix}) (\begin{matrix} 1 \\ 2 μ \end{matrix}) = \frac{3}{μ^{2}} .

$\mathcal{I}_2 = \left( \begin{matrix} 1& 2\mu \end{matrix} \right)\left( \begin{matrix} \frac{1}{\mu^2} & 0 \\ 0 & \frac{1}{2\mu^4} \end{matrix} \right) \left( \begin{matrix} 1 \\ 2\mu \end{matrix} \right)=\frac{3}{\mu^2}.$

Eu acho que agora você pode facilmente relacionar os determinantes.

Acompanhamento após o comentário

Se eu entendi corretamente, o FIM é válido desde que você estenda os parâmetros de maneira significativa: a probabilidade de uma nova parametrização deve ser uma densidade válida. Por isso, chamei o exemplo de Bernoulli de infeliz.

Eu acho que o link que você forneceu tem uma falha séria na derivação do FIM para variáveis categóricas, pois temos e . A expectativa do Hessiano negativo fornece , mas não para a covariância dos vetores de pontuação. Se você negligenciar as restrições, a igualdade da matriz de informações não se mantém. $E(x_i^2)=\theta_i(1-\theta_i)\neq \theta_i$ $E(x_ix_j)=\theta_i\theta_j\neq 0$ $\mathrm{diag}\{1/\theta_i\}$

— Khashaa
fonte

Obrigado por mencionar a abordagem da transformação jacobiana e pelos exemplos simples e claros. Você pode (ou qualquer outra pessoa) comentar sobre o seguinte problema que ainda me preocupa: ao estender o conjunto de parâmetros por uma dimensão, como estamos fazendo aqui, introduzimos uma restrição entre os parâmetros, para que quaisquer derivadas parciais (conforme exigido por o FIM) deve ser inválido porque agora, quando variamos um parâmetro, os outros não são mais constantes. Então, o FIM é válido mesmo para o conjunto estendido de parâmetros, dado que as derivadas parciais são inválidas devido à restrição extra?

— Tyler Streeter

@TylerStreeter Atualizei minha resposta para solucionar seu problema.

— Khashaa

Parece que o resultado vale para um tipo específico de relação entre os parâmetros.

Sem reivindicar generalidade total para os resultados abaixo, eu me apego ao caso "um a dois parâmetros". Denote a equação implícita que expressa o relacionamento que deve ser mantido entre os dois parâmetros. Em seguida, a probabilidade de log "correto estendido", "dois parâmetros" (não o que o OP calcula - chegaremos lá) $g(\theta_0,\theta_1) =0$

L^{e} = L^{*} (θ_{0}, θ_{1}) + λ g (θ_{0}, θ_{1})

$L^e=L^*(\theta_0,\theta_1) +\lambda g(\theta_0,\theta_1)$ é equivalente à probabilidade verdadeira , já que , ( é um multiplicador) e podemos tratar os dois parâmetros como independentes, enquanto nos diferenciamos.

L

$L$

g (θ_{0}, θ_{1}) = 0

$g(\theta_0,\theta_1)=0$

λ

$\lambda$

Usando subscritos para denotar derivadas com relação aos parâmetros (uma primeira derivada de subscrito, dois derivativos de segunda derivada), o determinante do Hessian da probabilidade estendida correta de log será

\begin{matrix} (1) & D_{H} (L^{e}) = [L_{00}^{*} + λ g_{00}] [L_{11}^{*} + λ g_{11}] - [L_{01}^{*} + λ g_{01}]^{2} = D_{H} (L) \end{matrix}

$D_H(L^e) = [L^*_{00}+\lambda g_{00}][L^*_{11}+\lambda g_{11}] - [L^*_{01}+\lambda g_{01}]^2 = D_H(L) \tag{1}$

O que o OP está fazendo?

Ele considera a probabilidade incorreta "ignorando" a relação entre os dois parâmetros e sem levar em conta a restrição . Ele então procede à diferenciação e obtém $L^*(\theta_0,\theta_1)$ $g(\theta_0,\theta_1)$

\begin{matrix} (2) & D_{H} (L^{*}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} \end{matrix}

$D_H(L^*) = L^*_{00}L^*_{11} - [L^*_{01}]^2 \tag{2}$

É evidente que geralmente não é igual a . $(2)$ $(1)$

Mas se , então $g_{00}=g_{11}=g_{00}=0$

(1) \to D_{H} (L^{e}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} = D_{H} (L^{*}) = D_{H} (L)

$(1) \rightarrow D_H(L^e) = L^*_{00}L^*_{11} - [L^*_{01}]^2 = D_H(L^*) = D_H(L)$

Portanto, se a relação entre o parâmetro real e o parâmetro redundante é tal que as segundas derivadas parciais da função implícita que os vincula são zero , a abordagem fundamentalmente errada acaba "correta".

Para o caso Bernoulli, de fato temos

g (θ_{0}, θ_{1}) = θ_{0} + θ_{1} - 1 \Rightarrow g_{00} = g_{11} = g_{01} = 0

$g(\theta_0,\theta_1) = \theta_0 + \theta_1 -1 \Rightarrow g_{00}=g_{11}=g_{01}=0$

ADENDO
para responder à pergunta @Khashaa e mostrar a mecânica aqui, consideramos a probabilidade especificada com um parâmetro redundante, mas também sob uma restrição de que as ligações do parâmetro redundante com a verdadeira. O que fazemos com as probabilidades de log é maximizá-las - então aqui temos um caso de maximização restrita. Suponha uma amostra do tamanho : $n$

max L_{n}^{*} (θ_{0}, θ_{1}) = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1}, s . t . θ_{1} = 1 - θ_{0}

$\max L_n^*(\theta_0, \theta_1) = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1,\;\; s.t. \;\; \theta_1 = 1-\theta_0$

Esse problema tem um Langrangeano (o que informalmente chamei de "probabilidade estendida correta" acima),

L^{e} = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1} + λ (θ_{1} - 1 + θ_{0})

$L^e = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1 + \lambda(\theta_1 - 1+\theta_0)$

As condições de primeira ordem para um máximo são

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} + λ = 0, \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} + λ_{0} = 0

$\frac {\sum_{i=1}^nx_i}{\theta_0} + \lambda = 0,\;\;\; \frac {n-\sum_{i=1}^nx_i}{\theta_1} +\lambda_0 =0$

para o qual obtemos a relação

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} = \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} \Rightarrow θ_{1} \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$\frac {\sum_{i=1}^nx_i}{\theta_0} = \frac {n-\sum_{i=1}^nx_i}{\theta_1} \Rightarrow \theta_1\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

usando a restrição sob a qual os acima são válidos, obtemos $\theta_1 = 1-\theta_0$

(1 - θ_{0}) \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$(1-\theta_0)\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

\Rightarrow \sum_{i = 1}^{n} x_{i} = n θ_{0} \Rightarrow {\hat{θ}}_{0} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\Rightarrow \sum_{i=1}^nx_i = n\theta_0 \Rightarrow \hat \theta_0 = \frac 1n\sum_{i=1}^nx_i$

como deveríamos.

Além disso, como a restrição é linear em todos os parâmetros, suas segundas derivadas serão zero. Isso se reflete no fato de que, nas primeiras derivadas do lagrangeano, o multiplicador "fica sozinho" e será eliminado quando tomarmos as segundas derivadas do lagrangeano. O que por sua vez nos levará a um Hessiano cujo determinante será igual à segunda derivada (unidimensional) da probabilidade logarítmica original de um parâmetro, depois de impor também a restrição (que é o que o OP faz). Tomar o negativo do valor esperado em ambos os casos não altera essa equivalência matemática e chegamos à relação "Informações unidimensionais de Fisher = determinante das informações bidimensionais de Fisher". Agora $\lambda$ dado que a restrição é linear em todos os parâmetros, o OP obtém o mesmo resultado (no nível da segunda derivada) sem introduzir a restrição com um multiplicador na função a ser maximizada, porque no segundo nível da derivada, a presença / efeito do parâmetro a restrição desaparece nesse caso.

Tudo isso tem a ver com cálculo, não com conceitos estatísticos.

— Alecos Papadopoulos
fonte

Parece que não consigo seguir sua lógica. Você poderia explicar por que tipo lagrangeano é considerado como "probabilidade estendida correta", "dois parâmetros" de probabilidade de log? Além disso, o hessiano é completamente misterioso para mim. Você está calculando a matriz de informações observadas?

L^{e}

$L^e$

— Khashaa

@Khashaa É terminológica estabelecida que o "Hessian" é a matriz de segundas derivadas de uma função multivariada.

— Alecos Papadopoulos

Seria útil se os votantes negativos aqui postassem uma resposta - porque o exemplo específico do OP existe - e exige uma explicação.

— Alecos Papadopoulos 01/01

Desculpe, se minha pergunta não foi esclarecida. Minha pergunta era sobre como você vinculou o Hessian à matriz de informações, já que eu não via nenhuma expectativa operando nele e o resultado parecia uma matriz de informações observada. Além disso, você pode explicar por que é a probabilidade de log correta? Acho que você está usando algum método baseado em princípios para avaliar a probabilidade restrita, mas não entendo como isso funciona.

L^{e}

$L^e$

— Khashaa

@Khashaa Adicionei uma exposição usando o exemplo do OP.

— Alecos Papadopoulos