Perguntas com a marcação «activation-function»

As funções de ativação são usadas para introduzir não linearidades na saída linear do tipo w * x + bem uma rede neural. O que eu sou capaz de entender intuitivamente para as funções de ativação como sigmoide. Entendo as vantagens do ReLU, que evita neurônios mortos durante a retropropagação. …

19 machine-learning  neural-network  deep-learning  activation-function 

Eu estava examinando um artigo do BERT que usa GELU (Gaussian Error Linear Unit), que afirma a equação como GELU(x)=xP(X≤x)=xΦ(x).GELU(x)=xP(X≤x)=xΦ(x). GELU(x) = xP(X ≤ x) = xΦ(x).que se aproxima de 0.5x(1+tanh[2/π−−−√(x+0.044715x3)])0.5x(1+tanh[2/π(x+0.044715x3)])0.5x(1 + tanh[\sqrt{ 2/π}(x + 0.044715x^3)]) Você poderia simplificar a equação e explicar como ela foi aprovada.

18 activation-function  bert  mathematics 

Aqui, a resposta se refere a gradientes de fuga e explosão que têm sigmoidfunções de ativação semelhantes, mas, eu acho, Relutem uma desvantagem e é seu valor esperado. não há limitação para a saída do Relue, portanto, seu valor esperado não é zero. Lembro-me da época anterior à popularidade Reludisso …

17 machine-learning  neural-network  deep-learning  gradient-descent  activation-function 

Estudei os tipos de função de ativação para redes neurais. As funções em si são bastante diretas, mas a diferença de aplicação não é totalmente clara. É razoável que se diferencie entre as funções do tipo lógico e linear, dependendo da saída binária / contínua desejada, mas qual é a …

15 neural-network  activation-function 

Como você usa o LeakyRelu como uma função de ativação na sequência DNN em keras? Se eu quiser escrever algo parecido com: model = Sequential() model.add(Dense(90, activation='LeakyRelu')) Qual é a solução? Coloque LeakyRelu semelhante a Relu? A segunda pergunta é: qual é a melhor configuração geral para ajustar os parâmetros …

14 deep-learning  keras  activation-function 

Para meu entendimento, o problema do gradiente de fuga ocorre ao treinar redes neurais quando o gradiente de cada função de ativação é menor que 1, de modo que, quando as correções são propagadas de novo por várias camadas, o produto desses gradientes se torna muito pequeno. Sei que existem …

7 machine-learning  neural-network  deep-learning  activation-function