Perguntas com a marcação «bert»

Eu estava examinando um artigo do BERT que usa GELU (Gaussian Error Linear Unit), que afirma a equação como GELU(x)=xP(X≤x)=xΦ(x).GELU(x)=xP(X≤x)=xΦ(x). GELU(x) = xP(X ≤ x) = xΦ(x).que se aproxima de 0.5x(1+tanh[2/π−−−√(x+0.044715x3)])0.5x(1+tanh[2/π(x+0.044715x3)])0.5x(1 + tanh[\sqrt{ 2/π}(x + 0.044715x^3)]) Você poderia simplificar a equação e explicar como ela foi aprovada.

18 activation-function  bert  mathematics 

Como o BERT é bidirecional (usa transformador bidirecional), é possível usá-lo para a tarefa de previsão da próxima palavra? Se sim, o que precisa ser ajustado?

11 neural-network  deep-learning  attention-mechanism  transformer  bert