GANs (redes adversárias generativas) também são possíveis para texto?

Os GANs - redes adversárias generativas - são bons apenas para imagens ou também podem ser usados ​​para texto?

Por exemplo, treine uma rede para gerar textos significativos a partir de um resumo.

UPD - citações do inventor da GAN Ian Goodfellow.

Os GANs não foram aplicados à PNL porque os GANs são definidos apenas para dados com valor real. ( 2016 ) fonte

Não é uma ideia fundamentalmente defeituosa. Deve ser possível fazer pelo menos uma das seguintes ... (2017) fonte

Sim, os GANs podem ser usados ​​para texto. No entanto, há um problema na combinação de como os GANs funcionam e como o texto é normalmente gerado pelas redes neurais:

• Os GANs trabalham propagando gradientes através da composição de Gerador e Discriminador.
• Normalmente, o texto é gerado por uma camada softmax final sobre o espaço do token, ou seja, a saída da rede é normalmente a probabilidade de gerar cada token (isto é, uma unidade estocástica discreta).

Essas duas coisas não funcionam bem juntas por si mesmas, porque você não pode propagar gradientes através de unidades estocásticas discretas. Existem duas abordagens principais para lidar com isso: o algoritmo REINFORCE e a reparameterização Gumbel-Softmax (também conhecida como distribuição de concreto ). Leve em consideração que o REINFORCE é conhecido por ter alta variação, portanto, você precisa de grandes quantidades de dados para obter boas estimativas de gradiente.

Como um exemplo de REFORÇAR para GANs de texto, você pode verificar o artigo SeqGAN . Um exemplo do Gumbel-Softmax, você pode conferir neste artigo .

Outra opção completamente diferente é não ter uma unidade estocástica discreta como saída do gerador (por exemplo, gerar tokens deterministicamente no espaço incorporado), eliminando o problema original de retropropagação através deles.

Há pesquisas ainda mais específicas sobre esse tópico:

O gerador treinado é capaz de produzir frases com certo nível de gramática e lógica.

Xuerong Xiao, "Geração de Texto Utilizando Treinamento Adversário Generativo"

Esta pergunta está relacionada a esta: https://linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientific-problem

Sim, agora os GANs também podem ser usados ​​para dados discretos. O primeiro exemplo dessa intuição surgiu quando os GANs Wasserstein (WGAN) surgiram. Ian Goodfellow abordou uma abordagem de Aprendizado por Reforço para esse problema na Conferência NIPS 2016 Além disso, este artigo trata dos avanços na GAN em relação a dados discretos.