Perguntas com a marcação «activation-function»

Escolho a função de ativação para a camada de saída, dependendo da saída necessária e das propriedades da função de ativação que conheço. Por exemplo, eu escolho a função sigmóide quando estou lidando com probabilidades, uma ReLU quando estou lidando com valores positivos e uma função linear quando estou lidando …

13 neural-networks  machine-learning  math  activation-function 

Acabei de me deparar com o conceito de cobertura de neurônios, que é a proporção de neurônios ativados e neurônios totais em uma rede neural. Mas o que significa um neurônio ser "ativado"? Eu sei o que são funções de ativação, mas o que significa ser ativado, por exemplo, no …

10 neural-networks  ai-basics  concepts  activation-function 

Eu acho que a vantagem de usar Leaky ReLU em vez de ReLU é que, dessa maneira, não podemos ter gradiente de fuga. O ReLU paramétrico tem a mesma vantagem, com a única diferença de que a inclinação da saída para entradas negativas é um parâmetro que pode ser aprendido, …

10 neural-networks  activation-function  relu 

Existem várias funções de ativação, como ReLU, sigmoid ou tanhtanh\tanh . O que acontece quando eu misturo funções de ativação? Recentemente, descobri que o Google desenvolveu a função de ativação Swish, que é (x * sigmoid). Ao alterar a função de ativação, ele pode aumentar a precisão de um pequeno …

10 neural-networks  machine-learning  activation-function  relu  sigmoid