Relação entre SVD e PCA. Como usar o SVD para executar o PCA?

352

A análise de componentes principais (PCA) é geralmente explicada por meio de uma decomposição por si própria da matriz de covariância. No entanto, também pode ser realizado via decomposição de valor singular (SVD) da matriz de dados $\mathbf X$ . Como funciona? Qual é a conexão entre essas duas abordagens? Qual é a relação entre SVD e PCA?

Ou, em outras palavras, como usar o SVD da matriz de dados para realizar a redução da dimensionalidade?

— ameba
fonte

Eu escrevi essa pergunta no estilo FAQ juntamente com a minha própria resposta, porque ela é frequentemente solicitada de várias formas, mas não há thread canônico e, portanto, é difícil fechar duplicatas. Forneça meta comentários neste meta thread em anexo .

— Ameba

stats.stackexchange.com/questions/177102/…

— kjetil b halvorsen

Além da excelente e detalhada resposta da ameba com seus links adicionais, eu recomendo verificar isso , onde o PCA é considerado lado a lado algumas outras técnicas baseadas em SVD. A discussão lá apresenta álgebra quase idêntica à da ameba, com apenas uma pequena diferença de que o discurso ali, ao descrever o PCA, trata da decomposição de

svd

[ou

X / \sqrt{n}

$\mathbf X/\sqrt{n}$

] em vez de

- o que é simplesmente conveniente no que se refere ao PCA feito através da composição automática da matriz de covariância.

X / \sqrt{n - 1}

$\mathbf X/\sqrt{n-1}$

X

$\bf X$

— ttnphns

PCA é um caso especial de SVD. O PCA precisa dos dados normalizados, idealmente mesma unidade. A matriz é nxn no PCA.

— Orvar Korvar

@OrvarKorvar: De que matriz nxn você está falando?

— Cbhihe

Respostas:

412

Seja a matriz de dados tamanho de , onde é o número de amostras é o número de variáveis. Vamos supor que ele esteja centralizado , ou seja, os meios das colunas foram subtraídos e agora são iguais a zero. $\mathbf X$ $n \times p$ $n$ $p$

Em seguida, o matriz covariância é dada por . É uma matriz simétrica e, portanto, pode ser diagonalizada: onde é uma matriz de vetores próprios (cada coluna é um vetor próprio) e é uma matriz diagonal com valores próprios em ordem decrescente na diagonal . Os autovetores são chamados eixos principais ou $p \times p$ $\mathbf C$ $\mathbf C = \mathbf X^\top \mathbf X/(n-1)$

C = V L V^{⊤},

$\mathbf C = \mathbf V \mathbf L \mathbf V^\top,$

V

$\mathbf V$

L

$\mathbf L$

λ_{i}

$\lambda_i$ principais direções principaisdos dados. As projeções dos dados nos eixos principais são denominadas componentes principais , também conhecidas como pontuação do PC ; elas podem ser vistas como novas variáveis transformadas. O

-ésimo componente principal é dada por

coluna -ésimo de

. As coordenadas do

ponto de dados -ésimo no novo espaço PC são dadas pelo

fileira -ésimo de

j

$j$

j

$j$

X V

$\mathbf {XV}$

i

$i$

i

$i$

X V

$\mathbf{XV}$

Se agora realizarmos a decomposição do valor singular de , obteremos uma decomposição onde é uma matriz unitária e é a matriz diagonal dos valores singulares . A partir daqui, pode-se ver facilmente que $\mathbf X$

X = U S V^{⊤},

$\mathbf X = \mathbf U \mathbf S \mathbf V^\top,$

U

$\mathbf U$

S

$\mathbf S$

s_{i}

$s_i$

o que significa que os vectores singulares certas

são direcções principais e que os valores singulares estão relacionados com os valores próprios da matriz covariância por meio de

. Os componentes principais são dadas por

C = V S U^{⊤} U S V^{⊤} / (n - 1) = V \frac{S^{2}}{n - 1} V^{⊤},

$\mathbf C = \mathbf V \mathbf S \mathbf U^\top \mathbf U \mathbf S \mathbf V^\top /(n-1) = \mathbf V \frac{\mathbf S^2}{n-1}\mathbf V^\top,$

V

$\mathbf V$

λ_{i} = s_{i}^{2} / (n - 1)

$\lambda_i = s_i^2/(n-1)$

X V = U S V^{⊤} V = U S

$\mathbf X \mathbf V = \mathbf U \mathbf S \mathbf V^\top \mathbf V = \mathbf U \mathbf S$

Para resumir:

Se , as colunas de são as principais direções / eixos. $\mathbf X = \mathbf U \mathbf S \mathbf V^\top$ $\mathbf V$
$\mathbf {US}$
$\lambda_i = s_i^2/(n-1)$ $\lambda_i$
$\sqrt{n-1}\mathbf U$ $\mathbf V \mathbf S/\sqrt{n-1}$
$\mathbf X$ $\mathbf X^\top \mathbf X/(n-1)$
$\mathbf X$ $\mathbf U$ $\mathbf V$
$\mathbf X$
$p$ $k<p$ $k$ $\mathbf U$ $k\times k$ $\mathbf S$ $\mathbf U_k \mathbf S_k$ $n \times k$ $k$
$k$ $\mathbf V_k^\top$ $\mathbf X_k = \mathbf U_k^\vphantom \top \mathbf S_k^\vphantom \top \mathbf V_k^\top$ $n \times p$ $k$ $\mathbf X_k$ $k$
$\mathbf U$ $n\times n$ $\mathbf V$ $p \times p$ $n>p$ $n-p$ $\mathbf U$ $\mathbf S$ $\mathbf U$ $n\times p$ $n\gg p$ $\mathbf U$ $n\ll p$

Links adicionais

Qual é a relação intuitiva entre SVD e PCA - um tópico muito popular e muito semelhante no math.SE.
Por que PCA de dados por meio de SVD dos dados? - uma discussão sobre quais são os benefícios da realização da PCA via SVD [resposta curta: estabilidade numérica].
A análise de PCA e Correspondência em relação ao Biplot - PCA no contexto de algumas técnicas congênicas, todas baseadas em SVD.
Existe alguma vantagem do SVD sobre o PCA? - uma pergunta perguntando se existem benefícios no uso de SVD em vez de PCA [resposta curta: pergunta incorreta].
Compreendendo a análise de componentes principais, os vetores próprios e os valores próprios - minha resposta fornece uma explicação não técnica do PCA. Para chamar a atenção, reproduzo uma figura aqui:

— ameba
fonte

⟨ (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} ⟩

$\langle (\mathbf x_i - \bar{\mathbf x})(\mathbf x_i - \bar{\mathbf x})^\top \rangle$

x_{i}

$\mathbf x_i$

X

$\mathbf X$

(X - \bar{X}) (X - \bar{X})^{⊤} / (n - 1)

$(\mathbf X - \bar{\mathbf X})(\mathbf X - \bar{\mathbf X})^\top/(n-1)$

X

$\mathbf X$

X X^{⊤} / (n - 1)

$\mathbf X \mathbf X^\top/(n-1)$

⟨ (x_{i} - \bar{x})^{2} ⟩

$\langle (x_i-\bar x)^2 \rangle$

\bar{x} = 0

$\bar x=0$

x_{i}^{2}

$x_i^2$

Um exemplo de código para PCA por SVD: stackoverflow.com/questions/3181593/…

— optimist

Ameba, assumi a responsabilidade de adicionar mais um link, de acordo com os links fornecidos. Espero que você ache apropriado.

— precisa saber é

S

$S$

λ_{i} = s_{i}^{2}

$\lambda_i = s_i^2$

@sera Basta transpor sua matriz e se livrar do seu problema. Você só ficará confuso caso contrário.

— Ameba

Eu escrevi um trecho de código Python & Numpy que acompanha a resposta da @ amoeba e deixo aqui caso seja útil para alguém. Os comentários são retirados principalmente da resposta da @ amoeba.

import numpy as np
from numpy import linalg as la
np.random.seed(42)


def flip_signs(A, B):
    """
    utility function for resolving the sign ambiguity in SVD
    http://stats.stackexchange.com/q/34396/115202
    """
    signs = np.sign(A) * np.sign(B)
    return A, B * signs


# Let the data matrix X be of n x p size,
# where n is the number of samples and p is the number of variables
n, p = 5, 3
X = np.random.rand(n, p)
# Let us assume that it is centered
X -= np.mean(X, axis=0)

# the p x p covariance matrix
C = np.cov(X, rowvar=False)
print "C = \n", C
# C is a symmetric matrix and so it can be diagonalized:
l, principal_axes = la.eig(C)
# sort results wrt. eigenvalues
idx = l.argsort()[::-1]
l, principal_axes = l[idx], principal_axes[:, idx]
# the eigenvalues in decreasing order
print "l = \n", l
# a matrix of eigenvectors (each column is an eigenvector)
print "V = \n", principal_axes
# projections of X on the principal axes are called principal components
principal_components = X.dot(principal_axes)
print "Y = \n", principal_components

# we now perform singular value decomposition of X
# "economy size" (or "thin") SVD
U, s, Vt = la.svd(X, full_matrices=False)
V = Vt.T
S = np.diag(s)

# 1) then columns of V are principal directions/axes.
assert np.allclose(*flip_signs(V, principal_axes))

# 2) columns of US are principal components
assert np.allclose(*flip_signs(U.dot(S), principal_components))

# 3) singular values are related to the eigenvalues of covariance matrix
assert np.allclose((s ** 2) / (n - 1), l)

# 8) dimensionality reduction
k = 2
PC_k = principal_components[:, 0:k]
US_k = U[:, 0:k].dot(S[0:k, 0:k])
assert np.allclose(*flip_signs(PC_k, US_k))

# 10) we used "economy size" (or "thin") SVD
assert U.shape == (n, p)
assert S.shape == (p, p)
assert V.shape == (p, p)

— user115202
fonte

$\mu$ $x_i$

X = (\begin{array}{ccccc} x_{1}^{T} - μ^{T} \\ x_{2}^{T} - μ^{T} \\ ⋮ \\ x_{n}^{T} - μ^{T} \end{array}) .

$X = \left( \begin{array}{ccccc} && x_1^T - \mu^T && \\ \hline && x_2^T - \mu^T && \\ \hline && \vdots && \\ \hline && x_n^T - \mu^T && \end{array} \right)\,.$

A matriz de covariância

S = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - μ) (x_{i} - μ)^{T} = \frac{1}{n - 1} X^{T} X

$S = \frac{1}{n-1} \sum_{i=1}^n (x_i-\mu)(x_i-\mu)^T = \frac{1}{n-1} X^T X$

$S$

S = V Λ V^{T} = \sum_{i = 1}^{r} λ_{i} v_{i} v_{i}^{T},

$S = V \Lambda V^T = \sum_{i = 1}^r \lambda_i v_i v_i^T \,,$

$v_i$ $i$ $\lambda_i$ $i$ $S$ $i$

PCA de um conjunto de dados Gaussian gerado aleatoriamente

$A = \left( \begin{array}{cc}1&2\\0&1\end{array} \right)$ $u_i$ $v_i$

SVD para um exemplo 2x2

$A$ $\mathbb S$ $u_i$ $v_i$

$X$ $A = X$

X = \sum_{i = 1}^{r} σ_{i} u_{i} v_{j}^{T},

$X = \sum_{i=1}^r \sigma_i u_i v_j^T\,,$

$\{ u_i \}$ $\{ v_i \}$ $S$ $v_i$

u_{i} = \frac{1}{\sqrt{(n - 1) λ_{i}}} X v_{i},

$u_i = \frac{1}{\sqrt{(n-1)\lambda_i}} Xv_i\,,$

$\sigma_i$

σ_{i}^{2} = (n - 1) λ_{i} .

$\sigma_i^2 = (n-1) \lambda_i\,.$

$u_i$ $X$ $u_i$ $X$ $i$ $v_i$ $X$

Entro em mais alguns detalhes e benefícios do relacionamento entre PCA e SVD neste artigo mais longo .

— Andre P
fonte

Obrigado pelo seu anser Andre. Apenas duas pequenas correções de erros de digitação: 1. No último parágrafo, você está confundindo esquerda e direita. 2. Na fórmula (capital) de X, você está usando v_j em vez de v_i.

— Alon