Qual é a derivada da função de ativação ReLU?

Qual é a derivada da função de ativação ReLU definida como:

R e L U (x) = m a x (0, x)

$\mathrm{ReLU}(x) = \mathrm{max}(0, x)$

E o caso especial em que há uma descontinuidade na função em ? $x=0$

self-study neural-networks

— Tom Hale
fonte

A derivada é:

f (x) = {\begin{cases} 0 & if x < 0 \\ 1 & if x > 0 \end{cases}

$f(x)= \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ \end{cases}$

E indefinido em . $x=0$

O motivo para não ser definido em é que suas derivadas esquerda e direita não são iguais. $x=0$

— Jim
fonte

0

$0$

1

$1$

x = 0

$x=0$

A convenção que é drdx = 1 (x> 0)

— neuroguy123

@TomHale porque não usar

f (0) = \frac{1}{2}

$f(0) = \frac{1}{2}$ ? A implementação prática é outra questão e vale uma nova pergunta. Isso é apenas a matemática.

— Jim

@TomHale, a propósito, veja a resposta de Nouroz Rahman em quora.com/… : "[...] Na minha opinião, nas funções tf.nn.relu()

— Jim