Como interpretar uma covariância inversa ou matriz de precisão?

Fiquei me perguntando se alguém poderia me indicar algumas referências que discutem a interpretação dos elementos da matriz de covariância inversa, também conhecida como matriz de concentração ou matriz de precisão.

Eu tenho acesso às Dependências Multivariadas de Cox e Wermuth , mas o que estou procurando é uma interpretação de cada elemento na matriz inversa. A Wikipedia afirma : "Os elementos da matriz de precisão têm uma interpretação em termos de correlações parciais e variações parciais", o que me leva a esta página. Existe uma interpretação sem o uso de regressão linear? Ou seja, em termos de covariâncias ou geometria?

Existem basicamente duas coisas a serem ditas. A primeira é que, se você observar a densidade da distribuição normal multivariada (com média 0 aqui), ela é proporcional a que é o inverso da matriz de covariância, também chamada precisão. Essa matriz é positiva definida e define via um produto interno em . A geometria resultante, que dá significado específico ao conceito de ortogonalidade e define uma norma relacionada à distribuição normal, é importante e para entender, por exemplo, o conteúdo geométrico do LDA necessário para visualizar as coisas à luz da geometria dada por

A outra coisa a ser dita é que as correlações parciais podem ser lidas diretamente de , veja aqui . A mesma página da Wikipedia indica que as correlações parciais e, portanto, as entradas de , têm uma interpretação geométrica em termos de cosseno em ângulo. O que é, talvez, mais importante no contexto de correlações parciais é que a correlação parcial entre e é 0 se e somente se a entrada em for zero. Para a distribuição normal, as variáveis e são então condicionalmente independentes$P$$P$$X_i$$X_j$$i,j$$P$$X_i$$X_j$dadas todas as outras variáveis. É disso que trata o livro de Steffens, a que me referi no comentário acima. Independência condicional e modelos gráficos. Ele tem um tratamento bastante completo da distribuição normal, mas pode não ser tão fácil de seguir.

Eu gosto deste modelo gráfico probabilístico para ilustrar o ponto de NRH de que a correlação parcial é zero se e somente se X for condicionalmente independente de Y, dado Z, com a suposição de que todas as variáveis ​​envolvidas são gaussianas multivariadas (a propriedade não se aplica no caso geral) :

( são variáveis ​​aleatórias gaussianas; ignore T e k)$y_i$

Fonte: Palestra de David MacKay sobre Gaussian Process Basics , 25 minutos.

A interpretação baseada em correlações parciais é provavelmente a mais útil estatisticamente, uma vez que se aplica a todas as distribuições multivariadas. No caso especial da distribuição normal multivariada, a correlação parcial zero corresponde à independência condicional.

Você pode derivar essa interpretação usando o complemento Schur para obter uma fórmula para as entradas da matriz de concentração em termos das entradas da matriz de covariância. Veja http://en.wikipedia.org/wiki/Schur_complement#Applications_to_probability_theory_and_statistics

A matriz de covariância pode representar a relação entre todas as variáveis ​​enquanto a covariância inversa, relaciona a relação do elemento com seus vizinhos (como a wikipedia disse na relação parcial / par).

Tomo emprestado o exemplo a seguir daqui em 24:10, imagine que 5 massas estejam conectadas e vogando com 6 molas, a matriz de covariância conteria correlação de todas as massas; se uma der certo, outras também darão certo. mas a matriz de covariância inversa sustenta a relação daquelas massas que são conectadas pela mesma mola (vizinhos) e contém muitos zeros e seu positivo não é necessário.

Bar-Shalom e Fortmann (1988) mencionam a covariância inversa no contexto da filtragem de Kalman da seguinte forma:

... [T] aqui está uma recursão pela covariância inversa (ou matriz de informações )

$\mathbf{P}^{-1}(k+1|k+1) = \mathbf{P}^{-1}(k+1|k) + \mathbf{H}'(k+1) \mathbf{R}^{-1}(k+1)\mathbf{H}(k+1)$

... De fato, um conjunto completo de equações de previsão e atualização, conhecido como filtro de informações [8, 29, 142], pode ser desenvolvido para a covariância inversa e um vetor de estado transformado .$\mathbf{P}^{-1}\hat{\mathbf{x}}$

O livro está indexado no Google .