Representação vetorial de entrada vs representação vetorial de saída no word2vec

Nos modelos CBOW e skip-gram do word2vec, como a escolha de vetores de palavras de (matriz de palavras de entrada) versus a escolha de vetores de palavras de (matriz de palavras de saída) afeta a qualidade dos vetores de palavras resultantes?W $W$$W'$

CBOW:

Skip-gram:

Garten et al. {1} comparou vetores de palavras obtidos adicionando vetores de palavras de entrada com vetores de palavras de saída, versus vetores de palavras obtidos concatenando vetores de palavras de entrada com vetores de palavras de saída. Nos experimentos, concatenar produz resultados significativamente melhores:

A palestra em vídeo {2} recomenda a média de vetores de palavras de entrada com vetores de palavras de saída, mas não se compara à concatenação de vetores de palavras de entrada com vetores de palavras de saída.

Referências:

• {1} Garten, J., Sagae, K., Ustun, V., & Dehghani, M. (2015, junho). Combinando representações vetoriais distribuídas para palavras . In Proceedings of NAACL-HLT (pp. 95-101).
• {2} Stanford CS224N: PNL com Deep Learning por Christopher Manning | Inverno 2019 | Aula 2 - Vetores e Sentidos da Palavra. https://youtu.be/kEMJRjEdNzM?t=1565 ( espelho )