SVD de uma matriz de dados (PCA) após suavização

Digamos que eu tenha uma matriz de dados centrada com SVD .$n \times m$$A$$A = U \Sigma V^{T}$

Por exemplo, colunas (medidas) que são espectros com frequências diferentes. A matriz é centralizada para que as linhas da matriz tenham sua média subtraída. Isso serve para interpretar os vetores singulares à esquerda como componentes principais.$m=50$$n=100$

Estou interessado em entender como o SVD muda quando suaviza cada vetor de coluna. Por exemplo, vamos suavizar cada coluna 100x1 com um kernel simples como [1/3, 2/3, 1/3].

$S=\begin{bmatrix} \frac{2}{3}&\frac{1}{3}& & & & &\\ \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & & & &\\ & \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & & &\\ & & \ddots& \ddots & \ddots & & \\ & & & \frac{1}{3}&\frac{2}{3}&\frac{1}{3} & \\ & & & &\frac{1}{3}&\frac{2}{3}&\frac{1}{3} \\ & & & & &\frac{1}{3}&\frac{2}{3} \end{bmatrix}$

Portanto, a nova matriz de dados é e possui algum SVD .$A'=SA$$A' = U' \Sigma' V'^{T}$

Meu primeiro pensamento foi que, desde que , eu deveria esperar que os vetores fossem suavizados, assim como os vetores .$SA = SU \Sigma V^{T}$${U'}_i$$A_i$

Essa primeira equação parece que são autovetores de :$(SU)_i$$A' A'^T$

$$SA(SA)^T=SU\Sigma\Sigma^TU^TS^T$$

Mas não tenho certeza sobre este próximo se é válido dizer que os são autovetores de :$V_i$$A'^T A'$

$$(SA)^TSA=V\Sigma^TU^TS^TSU\Sigma V^T$$

Quando comparo SVDs de e numericamente, os vetores singulares à esquerda não são o que eu espero, , mas eles têm uma aparência suavizada.$A$$A'$$U' \neq SU$

Alguém pode me ajudar a relacionar e o SVD após essa simples transformação?$U \Sigma V^{T}$$U' \Sigma' V'^{T}$

Por que seus primeiros pensamentos o desencaminharam:

Quando você tira o SVD de uma matriz, e são unitários (ortogonais). Portanto, embora seja verdade que , esse não é (geralmente) o SVD da . Somente se for unitário (o que, no caso de uma matriz de suavização, não é), seria verdade que .$U$$V$$SA = SU \Sigma V^{T}$$SA$$S$$U' = SU$

Existe alguma maneira simbólica e elegante de relacionar os dois SVDs? Não consigo encontrar um. No entanto, sua matriz de suavização é uma matriz de Toeplitz. É possível que essas matrizes tenham algumas propriedades especiais que possam contribuir para uma análise mais proveitosa. Se você descobrir algo, compartilhe com o resto de nós.

O caso de alisamento extremo:

Uma maneira de pensar sobre suavização é um continuum de não suavizar ao extremo, onde suavizamos cada coluna ao seu valor médio. Agora, nesse caso extremo, a matriz teria uma classificação de 1 e haveria apenas um valor singular diferente de zero. Vejamos o SVD:

$\left[ \begin{matrix} \uparrow & \uparrow & & \uparrow \\ \mu_1 & \mu_2 & ... & \mu_m \\ \downarrow & \downarrow & & \downarrow \end{matrix} \right] = \left[ \begin{matrix} \boldsymbol{\mu} \\ \boldsymbol{\mu} \\ ... \\ \end{matrix} \right] = \mathbf{1} \boldsymbol{\mu}^T = \dfrac{\mathbf{1}}{\sqrt{n}} \left[ \|\boldsymbol{\mu}\| \sqrt{n} \right] \dfrac{\boldsymbol{\mu}^T}{\|\boldsymbol{\mu}\|}$

A última equação representa o SVD truncado. Observe que os vetores esquerdo e direito têm o comprimento 1. Você pode expandir em uma matriz ortogonal. Da mesma forma para . Depois, basta zerar a matriz do meio e você terá o SVD completo.$\frac{\mathbf{1}}{\sqrt{n}}$$\frac{\boldsymbol{\mu}}{\|\boldsymbol{\mu}\|}$

Alisamento intermediário

Presumivelmente, você não fará uma suavização extrema. Então, o que isso significa para você? À medida que ampliamos a suavização, o espectro se reduz gradualmente a um único valor. Por exemplo, nas minhas simulações *:

Conforme sugerido pela derivação acima, se aproximará do vetor 1 normalizado e se aproximará do vetor médio normalizado. Mas e os outros vetores?$U'_1$$V'_1$

À medida que seus valores singulares correspondentes diminuem, os outros e 'variam cada vez mais, até que sejam apenas escolhas arbitrárias para bases dos subespaços ortogonais a e . Ou seja, o barulho se tornará apenas.$U'_i$$V'_i$$U'_1$$V'_1$

Se você precisar de alguma intuição para saber por que eles são "apenas ruído", considere que é uma soma ponderada de díades: . Poderíamos alterar completamente as direções de e , e isso afetará apenas as entradas do em menos de .$SA$$\displaystyle \sum \sigma_i U'_i V'^T_i$$U'_i$$V'_i$$SA$$\sigma_i$

Outra visualização

Aqui está outra maneira de analisar a suavização de colunas. Imagine cada linha na matriz como um ponto no espaço . À medida que suavizamos as colunas, cada ponto se aproxima do ponto anterior e do próximo. Como um todo, a nuvem de pontos diminui †:$m$

Espero que isto ajude!

_{[*]: Eu defini uma família de smoothers cada vez mais amplas. Em termos gerais, peguei o kernel [1/4, 1/2, 1/4], convolvi vezes, prendi-o em dimensões e normalizei para que somasse 1. Depois, representei graficamente a suavização progressiva de uma ortogonal aleatória e uma matriz normal aleatória.$z$$d$}

_{[†]: Smoothers gerados da mesma maneira. é construído como uma série de pontos no espaço que parecem interessantes.$A$$2$}