SVD de uma matriz de dados após uma projeção ortogonal em um subespaço

Digamos que eu possa conhecer o SVD de alguma matriz : $X$

X = U S V^{T}

$X = USV^T$

Se eu tenho uma matriz ortogonal (ou seja, é quadrada e tem colunas ortonormais), o SVD de é $A$ $A$ $XA$

X A = U S W^{T}

$XA = USW^T$ onde .

W = A^{T} V

$W = A^TV$

Mas algo pode ser dito sobre o SVD do se tiver colunas ortonormais, mas não for necessariamente quadrado? Em outras palavras, se o SVD de é , as matrizes , ou ser escritas em termos do SVD de e ? $XB$ $B$ $XB$ $XB = DEF^T$ $D$ $E$ $F$ $X$ $B$

Atualização: @whuber sugere que eu possa estender para ser ortogonal adicionando colunas ortonormais até ficar quadrado. Chame esse ortogonal matriz . $B$ $B$ $\tilde B$

\tilde{B} = [B; B_{⊥}]

$\tilde B = [B; B_{\perp}]$

Eu sei que o SVD do é (veja acima). Mas agora eu estou lutando para ver se há uma maneira que eu posso escrever o SVD de em termos da SVD de . $X\tilde B$ $US(\tilde B^TV)^T$ $XB$ $X\tilde B$

pca svd matrix-decomposition

— mobeets
fonte

Por exemplo, não é o caso do SVD de , que é o que temos se soubermos que é quadrado. Isso ocorre porque não é uma matriz quadrada, o que teria que ser verdade no SVD. ainda tem colunas ortonormais.

X B = U S (B^{T} V)^{T}

$XB = US(B^TV)^T$

B

$B$

B^{T} V

$B^TV$

B^{T} V

$B^TV$

— mobeets

B

$B$ pode ser prolongado juntando colunas ortonormais adicionais em uma matriz ortogonal (use o processo de Gram-Schmidt, por exemplo), reduzindo assim sua pergunta ao primeiro caso.

— whuber

Legal, obrigado @whuber. Então diga é a versão ortogonalizados de . Saber o SVD do me diz algo sobre o SVD do ?

B^{'}

$B'$

B

$B$

X B^{'}

$XB'$

X B

$XB$

— mobeets

Escreva e você verá como o relacionamento é simples e claro.

— whuber

@ whuber Eu não consigo ver direito ... Aqui está o que eu tentei: Let . Então .

B^{'} = [B; B_{⊥}]

$B' = [B; B_{\perp}]$

X B^{'} = [X B; X B_{⊥}] = U S (B^{' T} V)^{T} = U S ([\begin{matrix} B^{T} \\ B_{⊥}^{T} \end{matrix}] V)^{T} = U S {[\begin{matrix} B^{T} V \\ B_{⊥}^{T} V \end{matrix}]}^{T}

$XB' = [XB; XB_{\perp}] = US(B'^TV)^T = US(\left[\begin{matrix}B^T \\ B_{\perp}^T\end{matrix}\right]V)^T = US\left[\begin{matrix}B^TV \\ B_{\perp}^TV\end{matrix}\right]^T$

— mobeets

Respostas:

No SVD , onde é uma matriz , é uma matriz ortogonal . $X = USV^\prime$ $X$ $n\times p$ $V$ $p\times p$

Suponha que é uma matriz ortogonal : ou seja, . Deixei $B$ $p\times q$ $B^\prime B = 1_q$

\begin{matrix} (1) & S V^{'} B = T D W^{'} \end{matrix}

$S V^\prime B = TDW^\prime\tag{1}$

ser um SVD de . Assim, por definição, é uma matriz , é uma matriz diagonal da dimensão e é uma matriz ortogonal . $S V^\prime B$ $T$ $p\times q$ $D$ $q$ $W$ $q\times q$

Calcular

\begin{matrix} (2) & X B = (U S V^{'}) B = U (S V^{'} B) = U (T D W^{'}) = (U T) D (W^{'}) . \end{matrix}

$XB = (USV^\prime) B = U(SV^\prime B) = U(TDW^\prime) = (UT)D(W^\prime).\tag{2}$

Como , possui colunas ortonormais. Como e fazem parte de um SVD, então, por definição, é diagonal com entradas não negativas e é uma matriz ortogonal . Consequentemente, a equação fornece um SVD de . A equação mostra como este SVD está relacionado com o de e . $(UT)^\prime (UT) = T^\prime (U^\prime U) T = T^\prime T = 1_q$ $UT$ $D$ $W^\prime$ $D$ $W$ $q\times q$ $(2)$ $XB$ $(1)$ $X$ $B$

— whuber
fonte

Obrigado pela resposta. Embora parece que esta é uma maneira de encontrar a SVD de via computação da SVD de , em vez de usar apenas o SVD de . Eu esperava saber se existe uma maneira de encontrar o SVD do sem precisar calcular SVDs adicionais, como é possível quando é quadrado.

X B

$XB$

S V^{'} B

$SV'B$

X

$X$

X B

$XB$

B

$B$

— Mobets #

Para uma matriz com colunas ortonormais (mas não quadrado), gostaria uma forma de encontrar um SVD de em termos do SVD . $B$ $XB$ $X = USV^T$

Conforme sugerido por @whuber, um primeiro passo para encontrar o SVD do é adicionar colunas a para torná-lo quadrado (e, portanto, ortogonal). Chame essa matriz e seja o número de colunas de . Em seguida, porque é ortogonal, se é um SVD de , então é um SVD de . $XB$ $B$ $\tilde B = [B; B_{\perp}]$ $k$ $B_{\perp}$ $\tilde B$ $X = USV^T$ $X$ $X\tilde B = US(\tilde B^TV)^T$ $X \tilde B$

Como o pode ser obtido do , descartando as últimas colunas, meu problema original agora se reduz ao seguinte: Dado o SVD de uma matriz , existe uma maneira de encontrar o SVD de , onde é a matriz resultante da queda das últimas colunas de ? (Aqui eu tenho e .) $XB$ $X\tilde B$ $k$ $Y = DEF^T$ $Y' = D'E'F'^T$ $Y'$ $k$ $Y$ $Y = X\tilde B$ $Y' = XB$

Esse problema é conhecido como "downdating the SVD" e, em geral, parece haver muitas abordagens para fazer isso. Uma abordagem relevante é encontrada aqui e mais discussão aqui .

Mas, em geral, uma vez que os algoritmos para downdating a SVD parecem ser uma área de pesquisa ativa, estou concluindo que não há uma simples maneira de encontrar a SVD de dada apenas a SVD de . $XB$ $X$

— mobeets
fonte

+1. Acho que você identificou o problema corretamente: não há uma maneira "simples". Acho bastante intuitivo se você considerar um exemplo simples de brinquedo: por exemplo, uma nuvem de dados 2D alongada na direção diagonal. Os dois vetores singulares originais são diagonais. A multiplicação da matriz de dados por uma matriz ortogonal quadrada simplesmente gira a nuvem inteira, para que os vetores singulares permaneçam os mesmos, até a rotação. Mas projetar a nuvem de dados para, por exemplo, a linha horizontal (subespaços 1D) mudará totalmente de forma; agora o único vetor singular é horizontal. Novos vetores singulares não têm relação com os antigos.

— Ameba

Essa é uma ótima explicação intuitiva da diferença. No começo, eu achava bastante perturbador o fato de haver uma relação tão simples para matrizes ortogonais, mas não mais quando você remove apenas uma única coluna dessa matriz. Mas tudo faz sentido agora. Obrigado!

— mobeets

Concordo. Quando li seu post pela primeira vez, pensei: que pergunta ingênua! :-) claramente é preciso simplesmente girar os vetores singulares (com uma matriz "estendida" para ser uma matriz de rotação, como escreveu whuber) e depois soltar alguns deles (correspondendo à parte "estendida"). Mas isso está errado.

— Ameba 25/10