Ajustando novas imagens a partir de um cálculo SVD / PCA

Estou tentando replicar as idéias da página Eigenface na wikipedia. De centenas de imagens de amostra representadas por uma matriz de dados (onde cada imagem é achatada para um vetor de comprimento n , portanto X é uma matriz de 100 por n ), calculei uma decomposição SVD:$\bf X$$n$$\bf X$$100$$n$

$$\begin{equation} \bf X = U \Sigma V^{T} \end{equation}$$

conseqüentemente:

$$\begin{equation} \bf X X^{T} = U \Sigma^2 U^{T} \end{equation}$$

Ao pegar um subconjunto dos maiores modos próprios, posso aproximar a matriz (deixe σ 1 ≥ σ 2 ≥ ⋯ ):$q$$\sigma_1 \ge \sigma_2 \ge \cdots$

$$\begin{equation} {\bf X} \approx \sigma_1 u_1 v_1^{T} + \sigma_2 u_2 v_2^{T} + \cdots + \sigma_q u_q v_q^{T} \end{equation}$$

Agora, dado um novo vetor , que representa uma imagem que não está em X , como determino a ponderação dos q autovetores U para melhor representar minha nova imagem y ? Exceto nos casos patológicos, essa representação é única?$y$$\bf X$$q$$\bf U$$y$

Em resumo, o que eu gostaria de fazer é isso (na página da wiki):

Esses autofaces agora podem ser usadas para representar faces novas e existentes : podemos projetar uma nova imagem (subtraída pela média) nas autofaces e, assim, registrar como essa nova face difere da face média.

Como faço essa projeção?

A "projeção" a que se refere é uma projeção vetorial . Para calcular a projeção do vetor no vetor b , use o produto interno dos dois vetores:$\mathbf{a}$$\mathbf{b}$

$$\mathbf{a_{proj}} = \langle \mathbf{a}, \mathbf{b} \rangle \mathbf{b}$$

, nesse caso, é o componente vetorial de a que se encontra na mesma direção de b . No espaço euclidiano, o operador interno do produto é definido como seuproduto escalar:$\mathbf{a_{proj}}$$\mathbf{a}$$\mathbf{b}$

$$\langle \mathbf{a}, \mathbf{b} \rangle = \mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n}a_ib_i$$

onde é o número de componentes nos vectores de um e B e um i e b i são o i componente -ésimo de vectores de um e b , respectivamente. Intuitivamente, calculando o produto interno dos dois vetores, você encontra "quanto de" o vetor a vai na direção do vetor b . Observe que essa é uma quantidade assinada; portanto, um valor negativo significaria que o ângulo entre os dois vetores é maior que 90 graus, conforme ilustrado por uma definição alternativa para o operador de projeção:$n$$\mathbf{a}$$\mathbf{b}$$a_i$$b_i$$i$$\mathbf{a}$$\mathbf{b}$$\mathbf{a}$$\mathbf{b}$

$$\mathbf{a_{proj}} = |\mathbf{a}| \cos(\theta) \mathbf{b}$$

onde é o ângulo entre os dois vetores.$\theta$

Assim, dado um vetor e um conjunto de vetores de base b i , pode-se encontrar "quanto de a " vai em cada uma das direções de cada um dos vetores de base. Normalmente, esses vetores de base serão todos mutuamente ortogonais. No seu caso, o SVD é uma decomposição ortogonal, portanto, essa condição deve ser satisfeita. Portanto, para realizar o que você descreve, você deve pegar a matriz dos vetores próprios U e calcular o produto interno do vetor candidato y com cada uma das colunas da matriz:$\mathbf{a}$$\mathbf{b_i}$$\mathbf{a}$$\mathbf{U}$$\mathbf{y}$

$$p_i = \mathbf{y} \cdot \mathbf{u_i}$$

O valor escalar que você recebe de cada produto interno representa o quão bem o vector y "alinhados" com o i -ésimo eigenvector. Como os autovetores são ortonormais , você pode reconstruir o vetor original y da seguinte maneira:$p_i$$\mathbf{y}$$i$$\mathbf{y}$

$$\mathbf{y} = \sum_{i=1}^n p_i \mathbf{u_i}$$

Você perguntou se essa representação é única; Não sei exatamente o que você quer dizer, mas não é exclusivo no sentido de que um determinado vetor possa ser decomposto por projeção em qualquer número de bases ortonormais. Os vetores próprios contidos na matriz U são um exemplo, mas você pode usar qualquer número de outros. Por exemplo, calcular a transformada de Fourier discreta de y pode ser vista como projetando-a em uma base ortonormal de vetores exponenciais complexos de frequência variável.$\mathbf{y}$$\mathbf{U}$$\mathbf{y}$