Por que não consigo obter um SVD válido de X por decomposição de autovalor de XX 'e X'X?

Estou tentando fazer SVD manualmente:

m<-matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U=eigen(m%*%t(m))$vector
V=eigen(t(m)%*%m)$vector
D=sqrt(diag(eigen(m%*%t(m))$values))

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d)

U1%*%D1%*%t(V1)
U%*%D%*%t(V)

Mas a última linha não retorna m. Por quê? Parece ter algo a ver com os sinais desses autovetores ... Ou entendi mal o procedimento?

Análise do Problema

O SVD de uma matriz nunca é único. Deixe a matriz ter dimensões deixe que seu SVD sejan × $A$$n\times k$

$$A = U D V^\prime$$

para um matriz com colunas ortonormais, uma diagonal matriz com entradas não-negativos, e uma matriz com colunas ortonormais.U p × p D k × p $n\times p$$U$$p\times p$$D$$k\times p$$V$

Agora escolha, arbitrariamente , qualquer diagonal matriz tendo s na diagonal, para que é a identidade . Então$p\times p$± 1 S 2 = I p × p I $S$$\pm 1$$S^2 = I$$p\times p$$I_p$

$$A = U D V^\prime = U I D I V^\prime = U (S^2) D (S^2) V^\prime = (US) (SDS) (VS)^\prime$$

também é um SVD de porque demonstra que tem colunas ortonormais e um cálculo semelhante demonstra que o tem colunas ortonormais. Além disso, como e são diagonais, eles comutam, de onde mostra que ainda possui entradas não negativas.( U S ) ' ( U S ) = S ' L ' L S = S ' I P S = S ' S = S 2 = I P L S V S S D S D S = D S 2 = D $A$

$$(US)^\prime(US) = S^\prime U^\prime U S = S^\prime I_p S = S^\prime S = S^2 = I_p$$ $US$$VS$$S$$D$ $$S D S = DS^2 = D$$ $D$

O método implementado no código para encontrar um SVD encontra um que diagonaliza e, da mesma forma, um que diagonaliza Ele procede ao cálculo de em termos dos valores próprios encontrados em . O problema é que isto não assegurar uma correspondência consistente das colunas de com as colunas de .A A ′ = ( U D V ′ ) ( U D V ′ ) ′ = U D V ′ V D ′ U ′ = U D 2 U ′ V A ' A = V D 2 V ′ . D D 2 U V$U$

$$AA^\prime = (UDV^\prime)(UDV^\prime)^\prime = UDV^\prime V D^\prime U^\prime = UD^2 U^\prime$$ $V$ $$A^\prime A = VD^2V^\prime.$$ $D$$D^2$$U$$V$

Uma solução

Em vez disso, depois de encontrar um e um , use-os para calcular$U$$V$

$$U^\prime A V = U^\prime (U D V^\prime) V = (U^\prime U) D (V^\prime V) = D$$

direta e eficientemente. Os valores diagonais deste não são necessariamente positivos. $D$ (Isso ocorre porque não há nada sobre o processo de diagonalizar ou que garantirá que, uma vez que esses dois processos foram realizados separadamente.) Torne-os positivos escolhendo as entradas ao longo da diagonal de igualar os sinais das entradas de , para que tenha todos os valores positivos. Para compensar isso, multiplique por :$A^\prime A$$AA^\prime$$S$$D$$SD$$U$$S$

$$A = U D V^\prime = (US) (SD) V^\prime.$$

Isso é um SVD.

Exemplo

Seja com . Um SVD é$n=p=k=1$$A=(-2)$

$$(-2) = (1)(2)(-1)$$

com , e .$U=(1)$$D=(2)$$V=(-1)$

Se você diagonalizar , naturalmente escolheria e . Da mesma forma, se você diagonalizar , escolheria . Infelizmente, Em vez disso, calcule Como isso é negativo, defina . Isso ajusta para e para . Você obteve que é um dos dois SVDs possíveis (mas não o mesmo que o original!).$A^\prime A = (4)$$U=(1)$$D=(\sqrt{4})=(2)$$AA^\prime=(4)$$V=(1)$

$$UDV^\prime = (1)(2)(1) = (2) \ne A.$$ $$D=U^\prime A V = (1)^\prime (-2) (1) = (-2).$$ $S=(-1)$$U$$US = (1)(-1)=(-1)$$D$$SD = (-1)(-2)=(2)$ $$A = (-1)(2)(1),$$

Código

Aqui está o código modificado. Sua saída confirma

1. O método recria mcorretamente.
2. $U$ e realmente ainda são ortonormais.$V$
3. Mas o resultado não é o mesmo SVD retornado por svd. (Ambos são igualmente válidos.)

m <- matrix(c(1,0,1,2,1,1,1,0,0),byrow=TRUE,nrow=3)

U <- eigen(tcrossprod(m))$vector
V <- eigen(crossprod(m))$vector
D <- diag(zapsmall(diag(t(U) %*% m %*% V)))
s <- diag(sign(diag(D)))  # Find the signs of the eigenvalues
U <- U %*% s              # Adjust the columns of U
D <- s %*% D              # Fix up D.  (D <- abs(D) would be more efficient.)

U1=svd(m)$u
V1=svd(m)$v
D1=diag(svd(m)$d,n,n)

zapsmall(U1 %*% D1 %*% t(V1)) # SVD
zapsmall(U %*% D %*% t(V))    # Hand-rolled SVD
zapsmall(crossprod(U))        # Check that U is orthonormal
zapsmall(tcrossprod(V))       # Check that V' is orthonormal

Como descrevi em um comentário à resposta do @ whuber, esse método para calcular o SVD não funciona para todas as matrizes . A questão não se limita a sinais.

O problema é que pode haver autovalores repetidos e, neste caso, a composição automática de e não é única e nem todas as opções de e podem ser usadas para recuperar o fator diagonal do SVD. Por exemplo, se você usar qualquer matriz ortogonal não diagonal (digamos, ), então . Entre todas as opções possíveis para a matriz de vetor próprio de , retornará , portanto, neste caso, não é diagonal.Um Um ' L V A = [ 3 / 5 4 / 5 - 4 / 5 3 / 5 ] Uma Um ' = A ' A = I I U = V = I L ' A V = $A'A$$AA'$$U$$V$$A=\begin{bmatrix}3/5&4/5\\-4/5&3/5\end{bmatrix}$$AA'=A'A=I$$I$eigen$U=V=I$$U'AV=A$

Intuitivamente, essa é outra manifestação do mesmo problema que o @whuber descreve, que deve haver uma "correspondência" entre as colunas de e , e calcular duas composições independentes separadamente não garante isso.$U$$V$

Se todos os valores singulares de forem distintos, a composição automática é única (até escala / sinais) e o método funciona. Observação: ainda não é uma boa idéia usá-lo no código de produção em um computador com aritmética de ponto flutuante, porque quando você forma os produtos e o resultado calculado pode ser perturbado por uma quantidade da ordem de , onde é a precisão da máquina. Se as magnitudes dos valores singulares diferem bastante (mais de , aproximadamente), isso é prejudicial à precisão numérica dos menores.$A$$A'A$$AA'$u ≈ 2 × 10 - 16 10 - $\|A\|^2u$$u \approx 2\times 10^{-16}$$10^{-8}$

A computação do SVD a partir das duas composições independentes é um ótimo exemplo de aprendizado, mas nas aplicações da vida real sempre use a svdfunção de R para calcular a decomposição de valor singular.