Doc2vec (gensim) - Como posso inferir o rótulo de frases invisíveis?

14

https://radimrehurek.com/gensim/models/doc2vec.html

Por exemplo, se treinamos o doc2vec com

"aaaaaAAAAAaaaaaa" - "rótulo 1"

"BbbbbbBBBBBbbbb" - "rótulo 2"

podemos inferir que “aaaaAAAAaaaaAA” é o rótulo 1 usando o Doc2vec?

Eu sei que o Doc2vec pode treinar vetores de palavras e rótulos. Usando esses vetores, podemos inferir sentenças invisíveis (combinação de palavras treinadas) em qual rótulo?

gensim

— Seongho
fonte

11

O título desta pergunta é uma pergunta separada para o seu texto, portanto, responderei ambas separadamente (considerando que uma leva à outra).

Como deduzir frases invisíveis:

# ... trained model stored in var model
list_of_words = ["this", "is", "a", "new","unseen", "sentence"]
inferred_embedding = model.infer_vector(list_of_words)

Como é que isso funciona ? Conforme o artigo original ( https://cs.stanford.edu/~quocle/paragraph_vector.pdf ), temos duas matrizes de peso inicializadas aleatoriamente que é a mesma matriz do Word2Vec na qual cada coluna ou linha mapeia para um vetor de palavras e que é a matriz do documento em que cada coluna ou linha é mapeada para uma frase / documento. Durante o treinamento, um classificador softmax de tamanho de janela fixa se move (de uma maneira que se mova como uma janela), minimizando a seguinte probabilidade de log (entropia cruzada de várias classes): $W \in \mathbb{R}^{N\times P}$ $D \in \mathbb{R}^{M \times R}$ $k$

\frac{1}{M} \sum_{Eu = 1}^{M} \frac{1}{| D_{Eu} |} \sum_{t = k}^{| D_{Eu - 1} | - k} eu o g (p (W_{t}^{Eu} | W_{t - k}^{Eu}, . . ., W_{t + k}^{Eu}, D_{Eu}))

$\frac{1}{M}\sum_{i=1}^{M}\frac{1}{|D_{i}|}\sum_{t=k}^{|D_{i-1}|-k}log(p(w_{t}^{i} | w_{t-k}^{i}, ..., w_{t+k}^{i},D_{i} ))$

Onde corresponde ao vector representando o frase, o número de palavras que documento e é o $D_{i}$ $i^{th}$ $|D_{i}|$ $w_{t}^{i}$ $t^{th}$ palavra no documento. Tudo o que a propagação de retorno lembra é o documento no qual estamos movendo nosso softmax de janela e atualiza apenas essa linha na matriz juntamente com as palavras nessa janela. $i^{th}$ $D$

$W$ $D$

Podemos inferir que uma frase possivelmente invisível corresponde exatamente a uma frase no conjunto de treinamento?

$D$

Mesmo consertar a semente aleatória pode não funcionar, existem muitas outras variáveis que podem afetar sua convergência. Consulte a primeira resposta em https://github.com/RaRe-Technologies/gensim/issues/374 .

Em qualquer caso, você pode encontrar o rótulo mais semelhante em seu conjunto de dados a uma frase inferida apenas iterando sobre seu conjunto de treinamento e comparando a semelhança com o vetor inferido. Mas por que você deseja fazer uma correspondência exata com algo no conjunto de treinamento? é isso que expressões regulares são para os propósitos dessas incorporações de documentos, para tarefas de aprendizado supervisionadas ou não supervisionadas (ou seja, classificação e agrupamento).

— Francisco Vargas
fonte

0

Eu estava tentando resolver esse problema hoje e não encontrou nenhum módulo fornecido pelo gensim.Doc2Vec que calcula a similaridade entre o vetor de documento inferido que não está no modelo treinado e o modelo treinado. Então, basicamente, eu fiz isso.

from scipy import spatial
inferred_vector=model.infer_vector(sentence.split())
for labels in labelled_documents:
    print (1-  spatial.distance.cosine(inferred_vector,model.docvecs[labels]))

— Himanshu Rai
fonte

0

Com base no tutorial do Gensim Doc2Vec , você pode fazer algo assim.

inferred_vector = model_dmm.infer_vector(sentence.split())
sims = model.docvecs.most_similar([inferred_vector], topn=len(model.docvecs))

Isso fornecerá uma lista de tuplas com todos os rótulos e a probabilidade associada ao seu novo documento pertencente a cada rótulo. então você pode simplesmente usar o maior valor como seu rótulo.

— Amirhos Imani
fonte