Por que a classificação da matriz de covariância é no máximo

Como afirmado nesta pergunta, a classificação máxima da matriz de covariância é $n-1$ onde $n$ é o tamanho da amostra e, portanto, se a dimensão da matriz de covariância for igual ao tamanho da amostra, seria singular. Não consigo entender por que subtraímos $1$ da classificação máxima $n$ da matriz de covariância.

covariance-matrix linear-algebra

— user3070752
fonte

Para obter a intuição, pense em

n = 2

$n=2$ pontos em 3D. Qual é a dimensionalidade do subespaço em que esses pontos se encontram? Você pode ajustá-los em uma linha (subespaço 1D)? Ou você precisa de um plano (subespaço 2D)?

— Ameba diz Reinstate Monica

Então você entende que

n = 2

$n=2$ leva à matriz de covariância de classificação 1? Ok, vamos pegar

n = 3

$n=3$ pontos. Você pode ver que você sempre pode ajustá-los em um plano 2D?

— Ameba diz Reinstate Monica

@amoeba, seu exemplo foi claro, mas não consigo entender qual é a relação entre o hiperplano adequado no seu exemplo e a matriz de covariância?

— user3070752

Desculpe pelo atraso;)

— user3070752

Respostas:

O estimador imparcial da matriz de covariância da amostra, dado $n$ pontos de dados $\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$ é

C = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤},

$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$ onde

\bar{x} = \sum x_{i} / n

$\bar \x = \sum \x_i /n$ é a média de todos os pontos. Vamos denotar

(x_{i} - \bar{x})

$(\x_i-\bar \x)$ como

z_{i}

$\newcommand{\z}{\mathbf z}\z_i$ . o

\frac{1}{n - 1}

$\frac{1}{n-1}$ fator

não altera a classificação e cada termo na soma possui (por definição) a classificação

1

$1$ ; portanto, o núcleo da pergunta é o seguinte:

Por que tem posto e não posto , como parece, porque estamos a soma rank matrizes? $\sum \z_i\z_i^\top$ $n-1$ $n$ $n$ $1$

A resposta é que isso acontece porque não são independentes. Por construção, . Portanto, se você conhece de , o último restante é completamente determinado; não estamos somando rank independentes matrizes, estamos somando única rank independentes matrizes e, em seguida, adicionando mais um rank $\z_i$ $\sum\z_i = 0$ $n-1$ $\z_i$ $\z_n$ $n$ $1$ $n-1$ $1$ $1$ matriz que está completamente linearmente determinado pelo resto. Esta última adição não altera a classificação geral.

Podemos ver esta directamente se reescrever como e agora ligá-lo na expressão acima: $\sum\z_i = 0$

z_{n} = - \sum_{i = 1}^{n - 1} z_{i},

$\z_n = -\sum_{i=1}^{n-1}\z_i,$

\sum_{i = 1}^{n} z_{i} z_{i}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} z_{i}^{⊤} + (- \sum_{i = 1}^{n - 1} z_{i}) z_{n}^{⊤} = \sum_{i = 1}^{n - 1} z_{i} (z_{i} - z_{n})^{⊤} .

$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$ $n-1$ $n-1$

Este resultado, a propósito, sugere por que o fator no estimador imparcial de covariância é $\frac{1}{n-1}$ $\frac{1}{n}$ .

$n-1$ $\bar \x$ é equivalente de centragem no argumento algébrica acima.

— ameba diz Restabelecer Monica
fonte

Um pouco mais curto, acredito, a explicação é assim:

$n$ $m$ $x$ $n$ $m$

$x$ $min(n,m)$

$n$ $m$ $z$

$z = x - E[x]$ .

$min(n,m-1)$

$\sum_{i=1}^{m}z_{*i} =0$ .

$z$ matriz , mesmo que uma das colunas seja removida.

$x$ se torna:

$cov(x,x) = \frac{1}{m-1}zz^T$

$rank(zz^T)$ .

$rank(zz^T) = rank(z) = min(n,m-1)$

— Mikel
fonte