A soma e o produto de duas matrizes de covariância também são uma matriz de covariância?

12

Suponhamos que temos covariância matrizes e . Quais dessas opções também são matrizes de covariância? $X$ $Y$

$X+Y$
$X^2$
$XY$

Tenho um pouco de dificuldade para entender o que exatamente é necessário para que algo seja uma matriz de covariância. Suponho que isso significa que, por exemplo, se e que, para 1 ser verdadeiro, devemos ter esse , onde e algumas outras variáveis aleatórias. No entanto, não vejo por que isso se aplica a qualquer uma das três opções. Qualquer insight seria apreciado. $X=\operatorname{cov}(X_1,X_2)$ $Y=\operatorname{cov}(Y_1,Y_2)$ $\operatorname{cov}(X_1,X_2) + \operatorname{cov}(Y_1,Y_2) = \operatorname{cov}(Z_1, Z_2)$ $Z_1$ $Z_2$

covariance covariance-matrix

— rbm
fonte

12

fundo

Uma matriz de covariância para um vetor de variáveis aleatórias incorpora um procedimento para calcular a variação de qualquer combinação linear dessas variáveis aleatórias. A regra é que, para qualquer vetor de coeficientes , $\mathbb{A}$ $X=(X_1, X_2, \ldots, X_n)^\prime$ $\lambda = (\lambda_1, \ldots, \lambda_n)$

\begin{matrix} (1) & Var (λ X) = λ A λ^{'} . \end{matrix}

$\operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.\tag{1}$

Em outras palavras, as regras de multiplicação de matrizes descrevem as regras de variâncias.

Duas propriedades de são imediatas e óbvias: $\mathbb{A}$

Como as variações são expectativas de valores ao quadrado, elas nunca podem ser negativas. Assim, para todos os vetores ,As matrizes de covariância devem ser não-negativas-definidas. $\lambda$
$0 \leq Var (λ X) = λ A λ^{'} .$ $0 \le \operatorname{Var}(\lambda X) = \lambda \mathbb{A} \lambda ^\prime.$
As variações são apenas números - ou, se você ler as fórmulas da matriz literalmente, são matriz. Assim, eles não mudam quando você os transpõe. A transposição fornece Como isso é válido para todos os , deve ser igual à sua transposição : matrizes de covariância devem ser simétricas. $1\times 1$ $(1)$
$λ A λ^{'} = Var (λ X) = Var (λ X)^{'} = {(λ A λ^{'})}^{'} = λ A^{'} λ^{'} .$ $\lambda \mathbb{A} \lambda ^\prime = \operatorname{Var}(\lambda X) = \operatorname{Var}(\lambda X) ^\prime = \left(\lambda \mathbb{A} \lambda ^\prime\right)^\prime = \lambda \mathbb{A}^\prime \lambda ^\prime.$ $\lambda$ $\mathbb{A}$ $\mathbb{A}^\prime$

O resultado mais profundo é que qualquer matriz simétrica não negativa definida é uma matriz de covariância. $\mathbb{A}$ Isso significa que realmente existe alguma variável aleatória com valor vetorial com como covariância. Podemos demonstrar isso construindo explicitamente . Uma maneira é notar que a função de densidade (multivariada) com a propriedade possui por sua covariância. (Alguma delicadeza é necessária quando não é invertível - mas isso é apenas um detalhe técnico.) $X$ $\mathbb{A}$ $X$ $f(x_1,\ldots, x_n)$

\log (f) \propto - \frac{1}{2} (x_{1}, \dots, x_{n}) A^{- 1} (x_{1}, \dots, x_{n})^{'}

$\log(f) \propto -\frac{1}{2} (x_1,\ldots,x_n)\mathbb{A}^{-1}(x_1,\ldots,x_n)^\prime$

A

$\mathbb{A}$

A

$\mathbb{A}$

Soluções

Sejam e matrizes de covariância. Obviamente eles são quadrados; e se a soma deles tiver algum sentido, eles devem ter as mesmas dimensões. Precisamos apenas verificar as duas propriedades. $\mathbb{X}$ $\mathbb{Y}$

A soma.
- Simetria exibida a soma é simétrica. $(X + Y)^{'} = X^{'} + Y^{'} = (X + Y)$ $(\mathbb{X}+\mathbb{Y})^\prime = \mathbb{X}^\prime + \mathbb{Y}^\prime = (\mathbb{X} + \mathbb{Y})$
- Definitividade não negativa. Seja qualquer vetor. Então prova o ponto usando propriedades básicas da multiplicação de matrizes. $\lambda$ $λ (X + Y) λ^{'} = λ X λ^{'} + λ Y λ^{'} \geq 0 + 0 = 0$ $\lambda(\mathbb{X}+\mathbb{Y})\lambda^\prime = \lambda \mathbb{X}\lambda^\prime + \lambda \mathbb{Y}\lambda^\prime \ge 0 + 0 = 0$
Deixo isso como um exercício.
Este é complicado. Um método que eu uso para pensar em problemas de matriz desafiadores é fazer alguns cálculos com matrizes. Existem algumas matrizes de covariância comuns e comuns desse tamanho, como com e . A preocupação é que possa não ser definitivo: isto é, poderia produzir um valor negativo ao calcular uma variação? Se assim for, é melhor termos alguns coeficientes negativos na matriz. Isso sugere considerar para . Para obter algo interessante, podemos gravitar inicialmente para matrizes $2\times 2$
$(\begin{matrix} a & b \\ b & a \end{matrix})$ $\pmatrix{a & b \\ b & a}$ $a^2 \ge b^2$ $a \ge 0$ $\mathbb{XY}$ $X = (\begin{matrix} a & - 1 \\ - 1 & a \end{matrix})$ $\mathbb{X} = \pmatrix{a & -1 \\ -1 & a}$ $a \ge 1$ $\mathbb{Y}$ com estruturas de aparência diferente. Matrizes diagonais vêm à mente, como com . (Observe como podemos escolher livremente alguns dos coeficientes, como e , porque podemos redimensionar todas as entradas em qualquer matriz de covariância sem alterar suas propriedades fundamentais. Isso simplifica a busca de exemplos interessantes.) $Y = (\begin{matrix} b & 0 \\ 0 & 1 \end{matrix})$ $\mathbb{Y} = \pmatrix{b & 0 \\ 0 & 1}$ $b\ge 0$ $-1$ $1$
Deixo para você calcular e testar se sempre é uma matriz de covariância para quaisquer valores permitidos de e . $\mathbb{XY}$ $a$ $b$

— whuber
fonte

13

Uma matriz real é uma matriz de covariância se, e somente se, é semi-definida positiva simétrica.

Dicas:

1) Se e são simétricos, simétrico? Se para qualquer e para qualquer , o que você pode concluir sobre ? $X$ $Y$ $X+Y$ $z^TX z \ge 0$ $z$ $z^TY z \ge 0$ $z$ $z^T(X+Y)z$

2) Se é simétrico, simétrico? Se os autovalores de são não negativos, o que você pode concluir sobre os autovalores de ? $X$ $X^2$ $X$ $X^2$

3) Se e são simétricos, você pode concluir que é simétrico ou pode encontrar um contra-exemplo? $X$ $Y$ $XY$

— Mark L. Stone
fonte