Perguntas com a marcação «relu»

Eu acho que a vantagem de usar Leaky ReLU em vez de ReLU é que, dessa maneira, não podemos ter gradiente de fuga. O ReLU paramétrico tem a mesma vantagem, com a única diferença de que a inclinação da saída para entradas negativas é um parâmetro que pode ser aprendido, …

10 neural-networks  activation-function  relu 

Existem várias funções de ativação, como ReLU, sigmoid ou tanhtanh\tanh . O que acontece quando eu misturo funções de ativação? Recentemente, descobri que o Google desenvolveu a função de ativação Swish, que é (x * sigmoid). Ao alterar a função de ativação, ele pode aumentar a precisão de um pequeno …

10 neural-networks  machine-learning  activation-function  relu  sigmoid