Perguntas com a marcação «transformer»

Eu sou novo no ML e esta é minha primeira pergunta aqui, desculpe se minha pergunta é boba. Estou tentando ler e entender o artigo Atenção é tudo o que você precisa e, nele, há uma figura: Não sei o que é codificação posicional . ouvindo alguns vídeos do youtube, …

23 nlp  encoding  attention-mechanism  transformer 

Como o BERT é bidirecional (usa transformador bidirecional), é possível usá-lo para a tarefa de previsão da próxima palavra? Se sim, o que precisa ser ajustado?

11 neural-network  deep-learning  attention-mechanism  transformer  bert