Significado de Raiz Quadrada de Covariância / Matrizes de Precisão

8

Digamos que é uma variável aleatória com covariância . Por definição , as entradas da matriz de covariância são covariâncias: Além disso, sabe-se que as entradas da precisão satisfazem: onde o lado direito é a covariância de com condicionado em todas as outras variáveis. $X \in \mathbb{R}^n$ $\Sigma \in \mathbb{R}^{n\times n}$

Σ_{i j} = C o v (X_{i}, X_{j}) .

$\Sigma_{ij} = Cov( X_i,X_j).$

Σ^{- 1}

$\Sigma^{-1}$

Σ_{i j}^{- 1} = C o v (X_{i}, X_{j} | {X_{k}}_{k = 1}^{n} ∖ X_{i}, X_{j}}),

$\Sigma^{-1}_{ij} = Cov(X_i,X_j| \{X_k\}_{k=1}^n \backslash X_i,X_j\}),$

X_{i}

$X_i$

X_{j}

$X_j$

Existe uma interpretação estatística para as entradas de uma raiz quadrada de ou ? Por raiz quadrada de uma matriz quadrada I significativo qualquer matriz , tal que . Uma decomposição de autovalor das referidas matrizes não fornece essa interpretação de entrada, tanto quanto posso ver. $\Sigma$ $\Sigma^{-1}$ $A$ $M$ $M^tM = A$

— Yair Daon
fonte

11

@kjetilbhalvorsen adicionou uma explicação. Varreu alguns detalhes sob o rugh, no entanto. Qual é o valor condicionado? Nenhum dado, portanto, ele deve ser calculado sobre todos os valores.

— Yair Daon

11

O relato que dei sobre regressão, correlação e distribuições condicionais em stats.stackexchange.com/questions/71260/… fornece construções geométricas explícitas de duas raízes quadradas diferentes da matriz de covariância inversa. Essas idéias geométricas generalizam para dimensões mais altas, fornecendo, assim, pelo menos duas interpretações estatísticas distintas e bem conhecidas (a saber, PCA e regressão múltipla).

— whuber

1

Escreverei raízes quadradas matriciais de como , para ser consistente com a decomposição de Cholesky que é escrita como onde é lowtri (triangular inferior). Portanto, seja um vetor aleatório com e . Seja agora um vetor aleatório com expectativa zero e matriz de covariância unitária. $\Sigma$ $\Sigma=A A^T$ $\Sigma = L L^T$ $L$ $X$ $\DeclareMathOperator{\E}{\mathbb{E}} \DeclareMathOperator{\Cov}{\mathbb{Cov}}\DeclareMathOperator{\Var}{\mathbb{Var}} \E X=\mu$ $\Var X =\Sigma$ $Z$

Observe que existem (exceto no caso escalar) infinitamente muitas raízes quadradas da matriz. Se deixarmos ser um dos, podemos encontrar todos os outros como onde é qualquer matriz ortogonal, ou seja, . Isso é conhecido como liberdade unitária de raízes quadradas . $A$ $A \mathcal{O}$ $\mathcal{O}$ $\mathcal{O} \mathcal{O}^T = \mathcal{O}^T \mathcal{O} =I$

Vejamos algumas raízes quadradas da matriz em particular.

Primeiro uma raiz quadrada simétrica. Use a decomposição espectral para escrever . Então e isso pode ser interpretado como o PCA (análise de componentes principais) de . $\Sigma = U \Lambda U^T = U\Lambda^{1/2}(U\Lambda^{1/2})^T$ $\Sigma^{1/2}=U\Lambda^{1/2}$ $\Sigma$
A decomposição de Cholesky e é baixa. Podemos representar como . Multiplicando para obter equações escalares, obtemos um sistema triangular em , que no caso de séries temporais pode ser interpretado como uma representação MA (média móvel). $\Sigma=L L^T$ $L$ $X$ $X=\mu + L Z$ $Z$
O caso geral , utilizando o acima que pode interpretar esta como uma representação MA após a rotação . $A= L \mathcal{O}$ $Z$

— kjetil b halvorsen
fonte

+1 Re cálculo da raiz quadrada através de decomposição espectral, eu vi também. Mas isso seria diferente daquele que você mencionou, mas ambos são válidos, é verdade?

Σ^{1 / 2} = U Λ^{1 / 2} U^{T}

$\Sigma^{1/2}=U\Lambda^{1/2}U^{T}$

— NULL

0

Uma matriz nxn pode ter muitas raízes quadradas, como você mencionou. No entanto, uma matriz de covariância deve ser semi-definida positiva e uma matriz semi-definida positiva possui apenas uma raiz quadrada que também é semi-definida positiva. Dê uma olhada no artigo da wikipedia intitulado "Raiz quadrada de uma matriz".

— Michael R. Chernick
fonte

3

Não pedi uma raiz quadrada simétrica. Por exemplo, uma decomposição de Cholesky é suficiente para o objetivo desta pergunta.

— Yair Daon

11

Eu não disse que um termo na matriz de covariância não poderia ser negativo. Estou falando de uma propriedade diferente de que uma matriz de covariância é pelo menos semi-definida positiva.

— Michael R. Chernick

0

Às vezes, as pessoas estão interessadas em estimar a localização dos zeros na matriz de precisão pelo mesmo motivo que você descreveu acima. Se é sua matriz raiz quadrada, ou seja, , então para os nós então, imagino que olhar o produto interno entre as colunas da sua matriz raiz quadrada estimada fornecerá um número semelhante ao quão próximos são os dois nós condicionalmente independentes. Apenas uma ideia. $M$ $M'M = \Sigma^{-1}$ $i \neq j$

Σ_{i, j}^{- 1} = 0 ⟺ M_{i}^{'} M_{j} = 0

$\Sigma^{-1}_{i,j} = 0 \iff M_i'M_j = 0$

A raiz quadrada da matriz de covariância é a escala. Imagino simular um vetor aleatório normal padrão e depois multiplicar pela matriz da raiz quadrada. Se essa matriz é triangular inferior, sempre imagino fazer todas as pequenas multiplicações e acréscimos.

Também existem casos individuais em que certos elementos da matriz de raiz quadrada são apenas raízes quadradas de elementos individuais da matriz de covariância. Porém, isso não é interessante, então acho que você já pensou nisso.

— Taylor
fonte