Como calcular a perplexidade de um holdout com Alocação de Dirichlet Latente?

Estou confuso sobre como calcular a perplexidade de uma amostra de validação ao fazer a Alocação de Dirichlet Latente (LDA). Os artigos sobre o assunto brotam, me fazendo pensar que estou perdendo algo óbvio ...

A perplexidade é vista como uma boa medida de desempenho para a LDA. A idéia é que você mantenha uma amostra de holdout, treine seu LDA no restante dos dados e calcule a perplexidade do holdout.

A perplexidade pode ser dada pela fórmula:

$per(D_{test})=exp\{-\frac{\sum_{d=1}^{M}\log p(\mathbb{w}_d)}{\sum_{d=1}^{M}N_d}\}$

(Extraído da recuperação de imagens em bancos de dados de imagens em larga escala, Horster et al .)

Aqui é o número de documentos (na amostra de teste, presumivelmente), representa as palavras no documento , e o número de palavras no documento .w d d n d$M$$\mathbb{w}_d$$d$$N_d$$d$

Não está claro para mim como calcular sensivelmente , já que não temos misturas de tópicos para os documentos retidos. Idealmente, integraríamos o Dirichlet antes de todas as possíveis misturas de tópicos e usaríamos os multinomiais de tópicos que aprendemos. Calcular esta integral não parece uma tarefa fácil, no entanto.$p(\mathbb{w}_d)$

Como alternativa, poderíamos tentar aprender uma combinação ideal de tópicos para cada documento apresentado (de acordo com nossos tópicos aprendidos) e usá-lo para calcular a perplexidade. Isso seria possível, no entanto, não é tão trivial quanto trabalhos como Horter et al e Blei et al parecem sugerir, e não está imediatamente claro para mim que o resultado será equivalente ao caso ideal acima.

Na verdade, isso é algo frequentemente encoberto.

Algumas pessoas estão fazendo algo um pouco atrevido: segurando uma proporção das palavras em cada documento e fornecendo probabilidades preditivas dessas palavras contidas, dadas as misturas de documento-tópico e misturas de tópico-palavra. Obviamente, isso não é ideal, pois não avalia o desempenho em nenhum documento retido.

Para fazê-lo adequadamente com documentos retidos, conforme sugerido, você precisa "integrar o Dirichlet antes de todas as possíveis misturas de tópicos". http://people.cs.umass.edu/~wallach/talks/evaluation.pdf analisa alguns métodos para lidar com essa integral um pouco desagradável. Estou prestes a tentar implementar isso pessoalmente, então boa sorte!

Sabemos que os parâmetros da ADL são estimados por inferência variacional. então

$\log p(w|\alpha, \beta) = E[\log p(\theta,z,w|\alpha,\beta)]-E[\log q(\theta,z)] + D(q(\theta,z)||p(\theta,z))$

$D(q(\theta,z)||p(\theta,z)) = 0$$\log p(w|\alpha, \beta) = E[\log p(\theta,z,w|\alpha,\beta)]-E[\log q(\theta,z)]$

$\log p(w|\alpha, \beta)$