O Kernel PCA com kernel linear é equivalente ao PCA padrão?

Se no PCA do kernel eu escolher um kernel linear $K(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y$ , o resultado será diferente do PCA linear comum ? As soluções são fundamentalmente diferentes ou existe alguma relação bem definida?

pca kernel-trick

— tgoossens
fonte

Respostas:

Resumo: o PCA do kernel com kernel linear é exatamente equivalente ao PCA padrão.

Seja a matriz de dados centralizada do tamanho com variáveis em colunas e pontos de dados em linhas. Em seguida, a matriz de covariância é dada por , os seus vectores próprios são eixos principais e valores próprios são PC variâncias. Ao mesmo tempo, pode-se considerar a chamada Gram matriz do tamanho. É fácil ver que ele tem os mesmos valores próprios (ou seja, variações de PC) até $\mathbf{X}$ $N \times D$ $D$ $N$ $D \times D$ $\mathbf{X}^\top\mathbf{X}/(n-1)$ $\mathbf{X}\mathbf{X}^\top$ $N \times N$ $n-1$ e seus vetores próprios são os principais componentes dimensionados para a norma da unidade.

Este era o PCA padrão. Agora, no kernel PCA, consideramos alguma função que mapeia cada ponto de dados para outro espaço vetorial que geralmente possui uma maior dimensionalidade , possivelmente até infinita. A idéia do PCA do kernel é executar o PCA padrão neste novo espaço. $\phi(x)$ $D_\mathrm{new}$

Como a dimensionalidade desse novo espaço é muito grande (ou infinita), é difícil ou impossível calcular uma matriz de covariância. No entanto, podemos aplicar a segunda abordagem ao PCA descrita acima. De fato, a matriz Gram ainda terá o mesmo tamanho gerenciável de Os elementos dessa matriz são dados por , que chamaremos de função do kernel $N \times N$ $\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ $K(\mathbf{x}_i,\mathbf{x}_j)=\phi(\mathbf{x}_i)\phi(\mathbf{x}_j)$ . Isso é conhecido como truque do kernel : na verdade, nem sempre é necessário calcular , mas apenas . Os autovetores dessa matriz Gram serão os principais componentes no espaço-alvo, nos quais estamos interessados. $\phi()$ $K()$

A resposta para sua pergunta agora se torna óbvia. Se , a matriz Gram do kernel reduz para que é igual à matriz Gram padrão e, portanto, os componentes principais não serão alterados. $K(x,y)=\mathbf{x}^\top \mathbf{y}$ $\mathbf{X} \mathbf{X}^\top$

Uma referência muito legível é Scholkopf B, Smola A e Müller KR, análise de componentes principais do Kernel, 1999 , e observe que, por exemplo, na Figura 1 eles se referem explicitamente ao PCA padrão como aquele que utiliza o produto escalar como uma função do kernel:

PCA do kernel

— ameba diz Restabelecer Monica
fonte

onde estão essas fotos na sua resposta? De algum livro?

— Pinocchio

@Pinocchio, a figura é retirada de Scholkopf et al. artigo, referenciado e vinculado na minha resposta.

— ameba diz Restabelecer Monica

"É fácil ver que ele tem os mesmos valores próprios (ou seja, variações de PC) até o fator n-1 " - isso não significa que eles não são completamente equivalentes? Digamos que eu tenha uma matriz com n = 10 amostras, d = 200 dimensões. No PCA padrão, eu seria capaz de projetar os dados em 199 dimensões, se quisesse, mas no PCA do kernel com kernel linear, posso apenas até 10 dimensões.

— Cesar

@ Cesar, não, se você tiver n = 10 amostras, a matriz de covariância terá classificação 10-1 = 9 e o PCA padrão encontrará apenas 9 dimensões (assim como o PCA do kernel). Consulte aqui: stats.stackexchange.com/questions/123318 .

— ameba diz Reinstate Monica

Estou obtendo um arquivo não encontrado para o link de referência do Scholkopf B, Smola A e Müller KR.

— pbible

$X$ $N \times D$ $D$ $N$ $X = U \Sigma V^\top$ $U$ $X$ $XX^\top = U \Sigma^2 U^\top$ tem os mesmos vetores singulares à esquerda e, portanto, os mesmos componentes principais.

— Martha White
fonte

Para o PCA padrão, pensei que nos importávamos, com o SVD da matriz de covariância, então realmente não entendo como o SVD de X é relevante, você pode expandir?

— M0s #

@ m0s Para o PCA, nos preocupamos com a composição automática da matriz de covariância que normalmente executamos pelo SVD da matriz de dados (centralizada).

— MrJrFenner

Parece-me que um KPCA com kernel linear deve ser o mesmo que o PCA simples.

A matriz de covariância da qual você obterá os valores próprios é a mesma:

l i n e a r K P C A_{m a t r i x} = \frac{1}{l} \sum_{j = 1}^{l} K (x_{j}, x_{j}) = \frac{1}{l} \sum_{j = 1}^{l} x_{j} x_{j}^{T} = P C A_{m a t r i x}

$linearKPCA_{matrix} = \frac{1}{l} \sum_{j=1}^{l}K(x_{j},x_{j}) = \frac{1}{l} \sum_{j=1}^{l}x_{j}x_{j}^T = PCA_{matrix}$

You can check with more details here.

— Jundiaius
fonte

Your answer is correct in spirit, but the formula looks confusing. KPCA works with Gram matrix

K (x_{i}, x_{j})

$K(x_i, x_j)$ , not with covariance matrix (for many nonlinear kernels it's actually impossible to compute covariance matrix as the target space has infinite dimensionality). See page 2 of the paper you cite.

— amoeba says Reinstate Monica