Condições suficientes e necessárias para o autovalor zero de uma matriz de correlação

11

Dada variável aleatória , com distribuição de probabilidade , a matriz de correlação é positiva, ou seja, seus autovalores são positivos ou zero. $n$ $X_i$ $P(X_1,\ldots,X_n)$ $C_{ij}=E[X_i X_j]-E[X_i]E[X_j]$

Estou interessado nas condições em que são necessárias e / ou suficientes para que tenha zero autovalores. Por exemplo, uma condição suficiente é que as variáveis aleatórias não sejam independentes: para alguns números reais . Por exemplo, se , é um vetor próprio de com valor próprio zero. Se tivermos restrições lineares independentes nos 's desse tipo, isso implicaria zero autovalores. $P$ $C$ $m$ $\sum_i u_i X_i=0$ $u_i$ $P(X_1,\ldots,X_n)=\delta(X_1-X_2)p(X_2,\ldots,X_n)$ $\vec u=(1,-1,0,\ldots,0)$ $C$ $m$ $X_i$ $m$

Há pelo menos uma possibilidade adicional (mas trivial), quando $X_a=E[X_a]$ para alguns $a$ (ou seja, $P(X_1,\ldots,X_n)\propto\delta(X_a-E[X_a])$ ), pois nesse caso $C_{ij}$ tenha uma coluna e uma linha de zeros: $C_{ia}=C_{ai}=0,\,\forall i$ . Como não é realmente interessante, estou assumindo que a distribuição de probabilidade não seja dessa forma.

Minha pergunta é: as restrições lineares são a única maneira de induzir valores próprios zero (se proibimos a exceção trivial dada acima), ou restrições não lineares nas variáveis aleatórias também podem gerar valores próprios zero de $C$ ?

correlation

— Adão
fonte

11

Por definição, uma coleção de vetores que inclui o vetor zero é linearmente dependente; portanto, sua possibilidade adicional não é nova ou diferente. Poderia explicar o que você quer dizer com "ter um valor próprio"? Parece algum tipo de erro tipográfico.

m

$m$

— whuber

@ whuber: sim, erro de digitação. Corrigido. Eu acho que as duas condições são diferentes: uma é sobre o relacionamento entre as variáveis, enquanto a outra é sobre a probabilidade de apenas uma variável (a saber, ).

p (X_{a}) = δ (X_{a} - E (X_{a}))

$p(X_a)=\delta(X_a-E(X_a))$

— Adam

A formulação da sua pergunta é confusa. Ele parece como um teorema fundamental da álgebra linear, mas as referências a variáveis aleatórias "independentes" sugerem que poderia ser de outra coisa completamente. Seria correto entender que toda vez que você usa "independente", você quer dizer no sentido de independência linear e não no sentido de variáveis aleatórias (estatisticamente) independentes? Sua referência a "dados ausentes" é ainda mais confusa, pois sugere que suas "variáveis aleatórias" podem realmente significar apenas colunas de uma matriz de dados. Seria bom ver esses significados esclarecidos.

— whuber

@ whuber: eu editei a pergunta. Espero que seja mais claro.

— Adam

A condição para independência não precisa necessariamente ser zero (qualquer constante o fará), a menos que a média de cada seja zero.

\sum_{i} u_{i} X_{i} = 0

$\sum_i u_i X_i=0$

X_{i}

$X_i$

— Sextus Empiricus

6

Talvez, simplificando a notação, possamos trazer as idéias essenciais. Acontece que não precisamos envolver expectativas ou fórmulas complicadas, porque tudo é puramente algébrico.

A natureza algébrica dos objetos matemáticos

A questão diz respeito às relações entre (1) a matriz de covariância de um conjunto finito de variáveis aleatórias e (2) relações lineares entre essas variáveis, consideradas como vetores . $X_1, \ldots, X_n$

O espaço vetorial em questão é o conjunto de todas as variáveis aleatórias de variância finita (em qualquer espaço de probabilidade determinado ) modulo o subespaço de variáveis quase certamente constantes, denotadas (Ou seja, consideramos duas variáveis aleatórias e como o mesmo vetor quando existe uma chance zero de diferir de sua expectativa.) Estamos lidando apenas com o vetor de dimensão finita espaço gerado pelo que é o que faz deste um problema algébrico e não analítico. $(\Omega,\mathbb P)$ $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R.$ $X$ $Y$ $X-Y$ $V$ $X_i,$

O que precisamos saber sobre variações

$V$ é mais do que apenas um espaço vetorial: é um módulo quadrático, porque vem equipado com a variação. Tudo o que precisamos saber sobre variações são duas coisas:

A variação é uma função de valor escalar com a propriedade que para todos os vetores $Q$ $Q(aX)=a^2Q(X)$ $X.$
A variação não é regenerada.

O segundo precisa de alguma explicação. determina um "produto escalar", que é uma forma bilinear simétrica dada por $Q$

X \cdot Y = \frac{1}{4} (Q (X + Y) - Q (X - Y)) .

$X\cdot Y = \frac{1}{4}\left(Q(X+Y) - Q(X-Y)\right).$

(Naturalmente, isso nada mais é do que a covariância das variáveis e ) Os vetores e são ortogonais quando seu produto escalar é O complemento ortogonal de qualquer conjunto de vetores consiste em todos os vetores ortogonais para cada elemento de escrito $X$ $Y.$ $X$ $Y$ $0.$ $\mathcal A \subset V$ $\mathcal A,$

A^{0} = {v \in V ∣ a . v = 0 for all v \in V} .

$\mathcal{A}^0 = \{v\in V\mid a . v = 0\text{ for all }v \in V\}.$

É claramente um espaço vetorial. Quando , não é regenerado. $V^0 = \{0\}$ $Q$

Permita-me provar que a variação é realmente não-degenerada, mesmo que pareça óbvio. Suponha que é um elemento diferente de zero de Isso significa para todos osequivalentemente, $X$ $V^0.$ $X\cdot Y = 0$ $Y\in V;$

Q (X + Y) = Q (X - Y)

$Q(X+Y) = Q(X-Y)$

para todos os vetores Tomando dá $Y.$ $Y=X$

4 Q (X) = Q (2 X) = Q (X + X) = Q (X - X) = Q (0) = 0

$4 Q(X) = Q(2X) = Q(X+X) = Q(X-X) = Q(0) = 0$

e assim No entanto, sabemos (talvez usando Desigualdade de Chebyshev) que as únicas variáveis aleatórias com variância zero são quase certamente constantes, o que as identifica com o vetor zero em QED. $Q(X)=0.$ $V,$

Interpretando as perguntas

Voltando às perguntas, na notação anterior, a matriz de covariância das variáveis aleatórias é apenas uma matriz regular de todos os seus produtos pontuais,

T = (X_{i} \cdot X_{j}) .

$T = (X_i\cdot X_j).$

Há uma boa maneira de pensar em : ele define uma transformação linear em da maneira usual, enviando qualquer vetor no vetor cujo componente é dado pela regra de multiplicação da matriz $T$ $\mathbb{R}^n$ $x=(x_1, \ldots, x_n)\in\mathbb{R}^n$ $T(x)=y=(y_1, \ldots, x_n)$ $i^\text{th}$

y_{i} = \sum_{j = 1}^{n} (X_{i} \cdot X_{j}) x_{j} .

$y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j.$

O núcleo dessa transformação linear é o subespaço que ele envia a zero:

Ker (T) = {x \in R^{n} ∣ T (x) = 0} .

$\operatorname{Ker}(T) = \{x\in \mathbb{R}^n\mid T(x)=0\}.$

A equação anterior implica que, quando para cada $x\in \operatorname{Ker}(T),$ $i$

0 = y_{i} = \sum_{j = 1}^{n} (X_{i} \cdot X_{j}) x_{j} = X_{i} \cdot (\sum_{j} x_{j} X_{j}) .

$0 = y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j = X_i \cdot \left(\sum_j x_j X_j\right).$

Como isso é verdadeiro para todo ele é válido para todos os vetores abrangidos pelo : ou seja, o próprioConsequentemente, quando o vetor dado por fica em Como a variação não é regenerada, isso significa Ou seja, descreve uma dependência linear entre as variáveis aleatórias originais. $i,$ $X_i$ $V$ $x\in\operatorname{Ker}(T),$ $\sum_j x_j X_j$ $V^0.$ $\sum_j x_j X_j = 0.$ $x$ $n$

Você pode verificar facilmente se essa cadeia de raciocínio é reversível:

Dependências lineares entre os como vetores estão em correspondência um-para-um com elementos do núcleo de $X_j$ $T.$

(Lembre-se, essa declaração ainda considera o como definido até uma mudança constante na localização - isto é, como elementos de vez de como apenas variáveis aleatórias.) $X_j$ $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R$

Finalmente, por definição, um valor próprio de é qualquer escalar para o qual existe um vetor diferente de zero com Quando é um valor próprio, o espaço dos vetores próprios associados é (obviamente) o núcleo de $T$ $\lambda$ $x$ $T(x) = \lambda x.$ $\lambda=0$ $T.$

Sumário

Chegámos à resposta às perguntas: o conjunto de dependências lineares das variáveis aleatórias, qua elementos de corresponde um-para-um com o núcleo de sua matriz de covariância Isso ocorre porque a variação é uma forma quadrática não-regenerada. O kernel também é o espaço próprio associado ao valor próprio zero (ou apenas o subespaço zero quando não há valor próprio zero). $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R,$ $T.$

Referência

Eu adotei amplamente a notação e parte da linguagem do capítulo IV em

Jean-Pierre Serre, um curso de aritmética. Springer-Verlag 1973.

— whuber
fonte

Uau, isso é ótimo! Apenas uma pergunta para ter certeza de que eu entendo tudo: quando você escreve " como vetores", você não quer dizer coletar variáveis aleatórias em um vetor (ou seja, ), ou é? Se estou certo, acho que você está coletando os possíveis valores da variável aleatória em um vetor, enquanto a distribuição de probabilidade está oculta na definição da variação, certo?

X_{j}

$X_j$

\vec{X} = (X_{1}, \dots, X_{n})

$\vec X=(X_1,\ldots,X_n)$

X_{i}

$X_i$

— Adam

Eu acho que o principal aspecto que não está muito claro é o seguinte (que pode apenas mostrar minha falta de conhecimento formal da teoria das probabilidades): você parece mostrar que, se houver um valor próprio 0, então temos, por exemplo, . Essa restrição não se refere à distribuição de probabilidade , que está oculta em (acho que esse é o ponto mais inteligente dessa demonstração). Mas o que isso significa ter sem referência a ? Ou isso apenas implica , mas como sabemos que deve ser uma combinação linear de e na função delta ?

X_{1} = X_{2}

$X_1=X_2$

P

$P$

Q

$Q$

X_{1} = X_{2}

$X_1=X_2$

P

$P$

P \propto δ (X_{1} - X_{2})

$P\propto \delta(X_1-X_2)$ $X_1$ $X_2$

— Adam

Receio não entender seu uso de uma "função delta" nesse contexto, Adam. Isso ocorre em parte porque não vejo necessidade disso e em parte porque a notação é ambígua: seria um delta da Kronecker ou um delta do Dirac, por exemplo?

— whuber

Seria um Kronecker ou um Dirac, dependendo das variáveis (discretas ou contínuas). Esses delta podem fazer parte da medida de integração, por exemplo , mais de 2 por 2 matrizes (portanto, quatro variáveis reais , , e , com algum peso (digamos, ), ou eu integro sobre um subgrupo.Se forem matrizes simétricas (implicando, por exemplo, ), posso formalmente impor isso multiplicando por . Isso seria uma restrição linear Um exemplo de restrição não linear é dado nos comentários abaixo da resposta de Martijn Weterings.

M

$M$

X_{1}

$X_1$

X_{2}

$X_2$

X_{3}

$X_3$

X_{4}

$X_4$

P = \exp (- t r (M . M^{T}))

$P=\exp(-tr(M.M^T))$

X_{2} = X_{3}

$X_2=X_3$

P

$P$

δ (X_{1} - X_{2})

$\delta(X_1-X_2)$

— Adam

(continuação) A questão é: o que a lata de restrições não lineares que posso adicionar em minhas variáveis pode induzir um valor próprio 0. Pelas suas respostas, parece ser: apenas a restrição não linear que implica restrição linear (como exemplificado nos comentários abaixo da resposta de Martijn Weterings). Talvez o problema seja que minha maneira de pensar sobre o problema é de um ponto de vista físico, e luto para explicá-lo em um idioma diferente (acho que aqui é o lugar certo para fazer essa pergunta, sem a física.SE).

— Adam

5

A independência linear não é apenas suficiente, mas também uma condição necessária

Para mostrar que a matriz de variância-covariância possui autovalores iguais a zero se e somente se as variáveis não forem linearmente independentes, resta apenas mostrar que "se a matriz tiver autovalores iguais a zero, as variáveis não serão linearmente independentes".

Se você tiver um autovalor zero para , haverá alguma combinação linear (definida pelo vetor próprio ) $C_{ij} = \text{Cov}(X_i,X_j)$ $v$

Y = \sum_{i = 1}^{n} v_{i} (X_{i})

$Y = \sum_{i=1}^n v_i (X_i)$

de tal modo que

\begin{array}{rcl} Cov (Y, Y) & = & \sum_{i = 1}^{n} \sum_{j = 1}^{n} v_{i} v_{j} Cov (X_{i}, X_{j}) \\ = & \sum_{i = 1}^{n} v_{i} \sum_{j = 1}^{n} v_{j} C_{i j} \\ = & \sum_{i = 1}^{n} v_{i} \cdot 0 \\ = & 0 \end{array}

$\begin{array}{rcl} \text{Cov}(Y,Y) &=& \sum_{i=1}^n \sum_{j=1}^n v_i v_j \text{Cov}(X_i,X_j) \\ &=&\sum_{i=1}^n v_i\sum_{j=1}^n v_j C_{ij} \\ &= &\sum_{i=1}^n v_i \cdot 0 \\ &=& 0 \end{array}$

o que significa que precisa ser uma constante e, portanto, as variáveis precisam somar uma constante e são constantes (o caso trivial) ou não são linearmente independentes. $Y$ $X_i$

^{- a primeira linha na equação com é devido à propriedade de covariância $\text{Cov}(Y,Y)$}

Cov (a U + b V, c W + d X) = a c Cov (U, W) + b c Cov (V, W) + a d Cov (U, X) + b d Cov (V, X)

$\scriptsize\text{Cov}(aU+bV,cW+dX) = ac\,\text{Cov}(U,W) + bc\,\text{Cov}(V,W) +ad\, \text{Cov}(U,X) + bd \,\text{Cov}(V,X)$

^{- o passo da segunda para a terceira linha é devido à propriedade de um valor próprio zero}

\sum_{j = 1}^{n} v_{j} C_{i j} = 0

$\scriptsize \sum_{j=1}^nv_jC_{ij} = 0$

Restrições não lineares

Portanto, como restrições lineares são uma condição necessária (não apenas suficiente), restrições não lineares só serão relevantes quando implicarem indiretamente uma restrição linear (necessária).

De fato, existe uma correspondência direta entre os vetores próprios associados ao valor próprio zero e as restrições lineares.

C \cdot v = 0 ⟺ Y = \sum_{i = 1}^{n} v_{i} X_{i} = const

$C \cdot v = 0 \iff Y = \sum_{i=1}^n v_i X_i = \text{const}$

Assim, restrições não lineares que levam a um valor próprio zero devem, juntas, gerar alguma restrição linear.

Como restrições não lineares podem levar a restrições lineares

Seu exemplo nos comentários pode mostrar intuitivamente como restrições não lineares podem levar a restrições lineares ao reverter a derivação. As seguintes restrições não lineares

\begin{array}{lcr} a^{2} + b^{2} & = & 1 \\ c^{2} + d^{2} & = & 1 \\ a c + b d & = & 0 \\ a d - b c & = & 1 \end{array}

$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ ac + bd &=& 0 \\ ad - bc &=& 1 \end{array}$

pode ser reduzido para

\begin{array}{lcr} a^{2} + b^{2} & = & 1 \\ c^{2} + d^{2} & = & 1 \\ a - d & = & 0 \\ b + c & = & 0 \end{array}

$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ a-d&=&0 \\ b+c &=& 0 \end{array}$

Você poderia inverter isso. Digamos que você tenha restrições não lineares e lineares, não é estranho imaginar como podemos substituir uma das restrições lineares por uma restrição não linear, preenchendo as restrições lineares nas restrições não lineares. Por exemplo, quando substituímos e na forma não-linear , então você pode fazer uma outra relação . E quando você multiplicar e então você começa . $a=d$ $b=-c$ $a^2+b^2=1$ $ad-bc=1$ $a=d$ $c=-b$ $ac=-bd$

— Sextus Empiricus
fonte

Eu acho que isso (e a resposta do whuber) é uma resposta indireta à minha pergunta (que era: "a dependência linear é a única maneira de obter um autovalor zero") desta maneira: mesmo que a dependência entre as variáveis aleatórias não seja linear, ele sempre pode ser reescrito como uma dependência linear, basta escrever . Embora eu estivesse realmente procurando uma maneira de caracterizar as possíveis restrições não lineares, acho que é um resultado útil.

Y = \sum_{i} ν_{i} X_{i}

$Y=\sum_i \nu_i X_i$

— Adam

Sim, eu sei ... o que estou dizendo é que, se houver uma dependência não linear e um valor próprio zero, então, pela sua resposta, isso significa que a dependência não linear pode ser "fatorada" de alguma forma em uma dependência linear. É uma versão mais fraca do que eu estava procurando, mas ainda assim.

— Adam

Seu uma dando um exemplo que não funciona, o que não significa que ele não pode ser o caso ...

— Adam

Aqui está um contra-exemplo do que você está dizendo (se você acha que não é, pode nos ajudar a encontrar o que há de errado com a minha formulação do problema :)): Pegue uma matriz aleatória 2 por 2 , com o restrição não linear e . Essas três restrições não lineares podem ser reescritas em termos de 2 restrições lineares e uma linear: o que significa que a matriz de covariância possui dois vetores e0. Remova a restrição e eles desaparecem.

M

$M$

M . M^{T} = 1

$M.M^T=1$

det M = 1

$\det M=1$

det M = 1

$\det M=1$

— Adam

M_{11} = X_{1}

$M_{11}=X_1$ , , e . As restrições são , , (apenas duas são independentes). Eles não implicam um valor próprio zero. No entanto, adicionar implica dois vetores próprios com 0 valores próprios.

M_{12} = X_{2}

$M_{12}=X_2$

M_{21} = X_{3}

$M_{21}=X_3$

M_{22} = X_{4}

$M_{22}=X_4$

X_{1}^{2} + X_{2}^{2} = 1

$X_1^2+X_2^2=1$

X_{3}^{2} + X_{4}^{2} = 1

$X_3^2+X_4^2=1$

X_{1} X_{3} + X_{2} X_{4} = 0

$X_1 X_3+X_2 X_4=0$

X_{1} X_{4} - X_{2} X_{3} = 1

$X_1 X_4-X_2 X_3=1$

— Adam

2

Suponha que tenha um vetor próprio com o valor próprio correspondente e , em seguida, . Assim, pela desigualdade de Chebyshev, é quase certamente constante e igual a . Ou seja, todo valor próprio zero corresponde a uma restrição linear, ou seja, . Não há necessidade de considerar nenhum caso especial. $C$ $v$ $0$ $\operatorname{var}(v^T X) = v^T Cv = 0$ $v^TX$ $v^T E [X]$ $v^T X = v^T E[X]$

Assim, concluímos:

"são restrições lineares a única maneira de induzir valores próprios zero [?]"

Sim.

"restrições não lineares nas variáveis aleatórias também podem gerar zero autovalores de C?"

Sim, se implicarem restrições lineares.

— ekvall
fonte

Concordo. Eu esperava que alguém pudesse ser mais específico sobre o tipo de restrições não lineares, mas acho que é difícil fazer melhor se não especificarmos as restrições.

— Adam

2

A covariância marix de é simétrica, portanto você pode diagnosticá-la como , com os valores próprios na matriz diagonalReescrevendo isso como , o rhs é a matriz de covariância de , então zero autovalores no lhs correspondem a combinações lineares de com distribuições degeneradas. $C$ $X$ $C=Q\Lambda Q^T$ $\Lambda.$ $\Lambda=Q^TCQ$ $Q^TX$ $X$

— Hasse1987
fonte

Esta é uma descrição concisa muito boa, mas como poderíamos torná-la mais intuitiva que ?

Q^{T} C Q = cov (Q^{T} X)

$Q^TCQ = \text{cov}(Q^TX)$

— Sextus Empiricus