Um paralelo entre LSA e pLSA

No artigo original do pLSA, o autor, Thomas Hoffman, traça um paralelo entre as estruturas de dados do pLSA e do LSA que eu gostaria de discutir com você.

Fundo:

Inspirando-se na Recuperação de Informação, suponha que tenhamos uma coleção de documentos e um vocabulário de termos $N$

D = {d_{1}, d_{2}, . . . ., d_{N}}

$D = \lbrace d_1, d_2, ...., d_N \rbrace$

M

$M$

Ω = {ω_{1}, ω_{2}, . . ., ω_{M}}

$\Omega = \lbrace \omega_1, \omega_2, ..., \omega_M \rbrace$

Um corpus pode ser representado por uma matriz de co-ocorrências $X$ $N \times M$

Na Análise Semântica Latente por SVD, a matriz é fatorada em três matrizes: onde e são os valores singulares de e é o posto de . $X$

X = U Σ V^{T}

$X = U \Sigma V^T$

Σ = d i a g {σ_{1}, . . ., σ_{s}}

$\Sigma = diag \lbrace \sigma_1, ..., \sigma_s \rbrace$

σ_{i}

$\sigma_i$

X

$X$

s

$s$

X

$X$

A aproximação LSA de é então calculada truncando as três matrizes para algum nível , como mostrado na figura: $X$

\hat{X} = \hat{U} \hat{Σ} \hat{V^{T}}

$\hat{X} = \hat{U}\hat{\Sigma}\hat{V^T}$

k < s

$k < s$

insira a descrição da imagem aqui

No pLSA, escolha um conjunto fixo de tópicos (variáveis latentes) a aproximação de é calculada como: onde as três matrizes são as que maximizam a probabilidade do modelo. $Z = \lbrace z_1, z_2, ..., z_Z \rbrace$ $X$

X = [P (d_{i} | z_{k})] \times [d i a g (P (z_{k})] \times [P (f_{j} | z_{k})]^{T}

$X = [P(d_i | z_k)] \times [diag(P(z_k)] \times [P(f_j|z_k)]^T$

Pergunta real:

O autor afirma que essas relações subsistem:

$U = [P(d_i | z_k)]$
$\hat{\Sigma} = [diag(P(z_k)]$
$V = [P(f_j|z_k)]$

e que a diferença crucial entre LSA e pLSA é a função objetivo utilizada para determinar a decomposição / aproximação ideal.

Não tenho certeza de que ele esteja certo, pois acho que as duas matrizes representam conceitos diferentes: no LSA, é uma aproximação do número de vezes que um termo aparece em um documento e no pLSA é o (estimado ) probabilidade de um termo aparecer no documento. $\hat{X}$

Você pode me ajudar a esclarecer esse ponto?

Além disso, suponha que tenhamos calculado os dois modelos em um corpus, dado um novo documento , no LSA que eu uso para calcular sua aproximação como: $d^*$

\hat{d^{*}} = d^{*} \times V \times V^{T}

$\hat{d^*} = d^*\times V \times V^T$

Isso é sempre válido?
Por que não recebo resultados significativos aplicando o mesmo procedimento ao pLSA? $\hat{d^{*}} = d^{*} \times [P (f_{j} | z_{k})] \times [P (f_{j} | z_{k})]^{T}$ $\hat{d^*} = d^*\times [P(f_j|z_k)] \times [P(f_j|z_k)]^T$

Obrigado.

— Aslan986
fonte

Por uma questão de simplicidade, estou fornecendo aqui a conexão entre LSA e fatoração matricial não negativa (NMF) e depois mostro como uma simples modificação da função de custo leva ao pLSA. Como afirmado anteriormente, LSA e pLSA são ambos métodos de fatoração no sentido de que, até a normalização das linhas e colunas, a decomposição de baixo escalão da matriz de termos do documento:

X = U Σ D

$X=U\Sigma D$

usando notações anteriores. Mais simplesmente, o termo matriz do documento pode ser escrito como um produto de duas matrizes:

X = A B^{T}

$X = AB^T$

$A\in\Re^{N\times s}$ $B\in\Re^{M\times s}$ $A=U \sqrt{\Sigma}$ $B=V\sqrt{\Sigma}$

Uma maneira fácil de entender a diferença entre LSA e NMF é usar sua interpretação geométrica:

$min_{A, B} ‖ X - A B^{T} ‖_{F}^{2},$ $\min_{A,B} \|X - AB^T \|_F^2,$
NMF- é a solução de: $L_2$
$min_{A \geq 0, B \geq 0} ‖ X - A B^{T} ‖_{F}^{2},$ $\min_{A\ge 0,B\ge 0} \|X - AB^T \|_F^2,$
NMF-KL é equivalente a pLSA e é a solução de:
$min_{A \geq 0, B \geq 0} K L (X | | A B^{T}) .$ $\min_{A\ge 0,B\ge 0} KL(X|| AB^T).$

onde é o Kullback-Leibler divergência entre as matrizes e . É fácil ver que todos os problemas acima não têm uma solução única, pois é possível multiplicar por um número positivo e dividir $KL(X||Y) = \sum_{ij} x_{ij}\log{\frac{x_{ij}}{y_{ij}}}$ $X$ $Y$ $A$ $B$ pelo mesmo número para obter o mesmo valor objetivo. Portanto, - no caso da LSA, as pessoas geralmente escolhem uma base ortogonal classificada pela diminuição dos autovalores. Isso é fornecido pela decomposição do SVD e identifica a solução LSA, mas qualquer outra opção seria possível, pois não tem impacto na maioria das operações (semelhança de cosseno, fórmula de suavização mencionada acima, etc.). - no caso de NMF, uma decomposição ortogonal não é possível, mas as linhas de geralmente são limitadas a somar uma, porque tem uma interpretação probabilística direta como . Se além disso, as linhas de são normalizadas (isto é, soma a um), então as linhas de devem somar a um, levando à interpretação probabilística $A$ $p(z_k|d_i)$ $X$ $B$ $p(f_j|z_k)$ . Há uma pequena diferença com a versão do pLSA dada na pergunta acima, porque as colunas de são restritas a somar uma, de modo que os valores em são , mas a diferença é apenas uma mudança de parametrização , o problema permanece o mesmo. $A$ $A$ $p(d_i|z_k)$

Agora, para responder à pergunta inicial, há algo sutil na diferença entre LSA e pLSA (e outros algoritmos NMF): as restrições de não negatividade induzem um "efeito de agrupamento" que não é válido no caso clássico de LSA porque o Valor Singular A solução de decomposição é invariavelmente rotacional. As restrições da não-negatividade de alguma forma quebram essa invariância rotacional e fornecem fatores com algum tipo de significado semântico (tópicos em análise de texto). O primeiro artigo a explicar é:

Donoho, David L. e Victoria C. Stodden. "Quando a fatoração matricial não negativa fornece uma decomposição correta em partes?" Avanços nos sistemas de processamento de informações neurais 16: anais da conferência de 2003. MIT Press, 2004. [link]

Caso contrário, a relação entre PLSA e NMF é descrita aqui:

Ding, Chris, Tao Li e Wei Peng. "Sobre a equivalência entre fatoração matricial não negativa e indexação semântica latente probabilística". Estatística Computacional e Análise de Dados 52.8 (2008): 3913-3927. [ligação]

— Guillaume
fonte