Número de épocas na implementação do Gensim Word2Vec

Há um iterparâmetro na gensimimplementação do Word2Vec

classe gensim.models.word2vec.Word2Vec (sentenças = Nenhuma, tamanho = 100, alfa = 0,025, janela = 5, min_count = 5, max_vocab_size = None, amostra = 0, semente = 1, trabalhadores = 1, trabalhadores = 1, min_alpha = 0,0001, sg = 1, hs = 1, negativo = 0, cbow_mean = 0, hashfxn =, iter = 1 , null_word = 0, trim_rule = None, classificado_vocab = 1)

que especifica o número de épocas, ou seja:

iter = número de iterações (épocas) sobre o corpus.

Alguém sabe se isso ajuda a melhorar o modelo sobre o corpus?

Existe alguma razão para que o valor iteresteja definido como 1 por padrão? Não há muito efeito em aumentar o não. de épocas?

Existe alguma avaliação científica / empírica de como definir o não. de épocas?

Diferentemente da tarefa de classificação / regressão, o método de pesquisa em grade não funcionaria realmente, pois os vetores são gerados de maneira não supervisionada e a função objetivo é simplesmente por softmax hierárquico ou amostragem negativa.

Existe um mecanismo de parada precoce para reduzir o não. de épocas em que os vetores convergem? E o softmax hierárquico ou o objetivo de amostragem negativo podem convergir?

Aumentar o número de épocas geralmente beneficia a qualidade das representações da palavra. Em experimentos que realizei onde o objetivo era usar a palavra incorporação como recursos para a classificação do texto, definindo as épocas para 15 em vez de 5, aumentou o desempenho.

Eu olhei aqui e descobri que o valor padrão mudou de 1 para 5. Aparentemente, os autores acreditam que mais épocas melhorarão os resultados .

Ainda não sei por experiência própria.

Treinei meu modelo w2v no google news 300 por [2, 10, 100] épocas e a melhor foi em dez épocas. Depois de toda essa espera, fiquei chocado que 100 épocas eram ruins.

epoch   wall                    
------ ------                    
2       56 s                    
10      4m 44s (284s)           
100     47m 27s (2847 s)    

Aumentar a contagem de iter (número de épocas) aumenta drasticamente o tempo de treinamento. O Word2Vec fornece resultados de qualidade apenas se você alimentar uma quantidade enorme de documentos, portanto, repetir duas vezes neles não é razoável, embora realmente torne as combinações de palavras resultantes mais precisas.