Covariância para três variáveis

Estou tentando entender como a matriz de covariância funciona. Então, vamos supor que temos duas variáveis: , onde fornece a relação entre as variáveis, ou seja, quanto uma depende da outra. $X, Y$ $\text{Cov}(X,Y) = \mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])]$

Agora, três casos variáveis, é menos claro para mim. Uma definição intuitiva para a função de covariância seria , mas a literatura sugere o uso da matriz de covariância que é definida como covariância de duas variáveis para cada par de variáveis. $\text{Cov}(X,Y,Z) = \mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])(z-\mathbb{E}[Z])]$

Então, a covariância inclui informações completas sobre relações variáveis? Em caso afirmativo, qual é a relação com a minha definição de ? $\text{Cov}(X,Y,Z)$

correlation covariance moments

— Karolis
fonte

Penso que vejo que a minha definição simplesmente não funciona. Mas a matriz de covariância é suficiente para quantificar a relação entre todas as variáveis?

— Karolis

A matriz de covariância é suficiente para quantificar a covariância entre todas as variáveis, mas não as "relações", pois trata-se de um conceito geral (as variáveis podem ser relacionadas ou dependentes de várias maneiras não lineares diferentes que não são capturadas pela covariância). Uma exceção a isso seria se você conhecesse as variáveis em que a variável multi-normal era normal.

— Zachary Blumenfeld

Obrigado @ZacharyBlumenfeld! Você poderia recomendar um bom livro sobre isso?

— Karolis

Qual é a diferença entre

no termo

? Eu sei o que você quer dizer com

- é uma variável aleatória - e também com

- é o valor esperado de

, um número real - mas o que é

? Se

é outro número real, então

é um número real - nada de aleatório - e sua definição se reduz a

x

$x$

X

$X$

x - E [X]

$x-E[X]$

X

$X$

E [X]

$E[X]$

X

$X$

x

$x$

x

$x$

x - E [X]

$x-E[X]$

porque o valor esperado de um número real é o próprio número real.

cov (X, Y, Z) = E [(x - E [X]) (y - E [Y]) (z - E [Z])] = (x - E [X]) (y - E [Y]) (z - E [Z])

$\operatorname{cov}(X,Y,Z) = E[(x -E[X])(y-E[Y])(z-E[Z])] = (x -E[X])(y-E[Y])(z-E[Z])$

— Dilip Sarwate

@ZacharyBlumenfeld, seu comentário quase se qualifica como resposta. Talvez você deva expandir um pouco (acrescente que

é um momento central de terceira ordem, o que mais? e postar como resposta?

E [(x - E [X]) (y - E [Y]) (z - E [Z])]

$\mathbb{E}[(x -\mathbb{E}[X])(y-\mathbb{E}[Y])(z-\mathbb{E}[Z])]$

— Richard Hardy

Para expandir o comentário de Zachary, a matriz de covariância não captura a "relação" entre duas variáveis aleatórias, pois "relação" é um conceito muito amplo. Por exemplo, provavelmente gostaríamos de incluir a dependência de duas variáveis entre si para incluir em qualquer medida de sua "relação". Entretanto, sabemos que $cov(X,Y)=0$ não implica que sejam independentes, como por exemplo, o caso de duas variáveis aleatórias X ~ U (-1,1) e Y = X ^ 2 (para uma prova curta, consulte: https://en.wikipedia.org/wiki/Covariance#Uncorrelatedness_and_independence ).

Portanto, se pensarmos que a covariância inclui informações completas sobre relações variáveis, como você pergunta, covariância zero não sugere dependência. É isso que Zachary quer dizer quando diz que pode haver dependências não lineares que a covariância não captura.

No entanto, deixar que $X:=(X_{1},...,X_{n})'$ ser normal multivariada, X ~ $N(\mu,\Sigma)$ . Em seguida, $X_{1},...,X_{n}$ são independentes sse $\Sigma$ é uma matriz diagonal com todos os elementos fora da diagonal = 0 (se todas as covariâncias = 0).

Para ver que esta condição é suficiente, observa-se que a densidade factores comuns,

f (x_{1}, . . ., x_{n}) = \frac{1}{\sqrt{(2 π)^{n} | Σ |}} e x p (- \frac{1}{2} (x - μ)^{'} Σ^{- 1} (x - μ)) = Π_{Eu = 1}^{n} \frac{1}{\sqrt{2 π σ_{Eu Eu}}} e x p (- \frac{(x_{Eu} - μ_{Eu})^{2}}{2 σ_{Eu Eu}}) = f_{1} (x_{1}) . . . f_{n} (x_{n})

$\begin{equation} f(x_{1},...,x_{n}) = \dfrac{1}{ \sqrt{(2 \pi)^{n} | \Sigma |}} exp(- \dfrac{1}{2} (x - \mu)' \Sigma^{-1} (x - \mu))= \Pi^{n}_{i=1} \dfrac{1}{\sqrt{2 \pi \sigma_{ii}}} exp(- \dfrac{(x_{i}-\mu_{i})^{2}}{2 \sigma_{ii}})=f_{1}(x_{1})...f_{n}(x_{n})\end{equation}$ .

$X_{1}$ $X_{2}$ $X_{1}$ $X_{1}|X_{2} = x_{2}$

σ_{11} = σ_{11 | 2} = σ_{11} - σ_{12}^{2} σ_{22}^{- 1}

$\begin{equation} \sigma_{11}=\sigma_{11|2}=\sigma_{11}-\sigma^{2}_{12} \sigma^{-1}_{22} \end{equation}$

$\sigma_{12}=0$ $\Sigma$

(fonte: slides avançados de Econometria do professor Geert Dhaene)

— hrrrrrr5602
fonte