O desempenho de última geração relatado do uso de vetores de parágrafo para análise de sentimentos foi replicado?

Fiquei impressionado com os resultados no artigo da ICML 2014 " Representações distribuídas de frases e documentos " de Le e Mikolov. A técnica que eles descrevem, denominada "vetores de parágrafos", aprende representações não supervisionadas de parágrafos / documentos arbitrariamente longos, com base em uma extensão do modelo word2vec. O artigo relata o desempenho de ponta na análise de sentimentos usando esta técnica.

Eu esperava avaliar essa técnica em outros problemas de classificação de texto, como uma alternativa à representação tradicional de palavras-chave. No entanto, deparei com uma postagem do segundo autor em um tópico do grupo word2vec do Google que me deu uma pausa:

Tentei reproduzir os resultados de Quoc durante o verão; Eu poderia obter taxas de erro no conjunto de dados IMDB em torno de 9,4% a 10% (dependendo da qualidade da normalização do texto). No entanto, não consegui chegar nem perto do que Quoc relatou no artigo (erro de 7,4%, é uma enorme diferença) ... É claro que também perguntamos a Quoc sobre o código; ele prometeu publicá-lo, mas até agora nada aconteceu. ... Estou começando a pensar que os resultados do Quoc na verdade não são reproduzíveis.

Alguém já conseguiu reproduzir esses resultados ainda?

Nota de rodapé em http://arxiv.org/abs/1412.5335 (um dos autores é Tomas Mikolov) diz

Em nossos experimentos, para coincidir com os resultados de (Le & Mikolov, 2014), seguimos a sugestão de Quoc Le de usar o softmax hierárquico em vez de amostragem negativa. No entanto, isso produz o resultado de precisão de 92,6% somente quando os dados de treinamento e teste não são embaralhados. Portanto, consideramos esse resultado inválido.