Agora, li um livro intitulado "Aprendizado de máquina prático com o Scikit-Learn e TensorFlow" e, no capítulo 11, ele tem a seguinte descrição sobre a explicação de ELU (Exponential ReLU).

Terceiro, a função é suave em todos os lugares, incluindo z = 0, o que ajuda a acelerar a descida do gradiente, pois não salta tanto à esquerda e à direita de z = 0.

O zsignifica o eixo x no gráfico acima. Entendo que a derivada é suave, já que a z < 0linha tem uma curva e nesse domínio a derivada não é mais igual a 0.

No entanto, por que é que se a função é "suave em todos os lugares, incluindo z = 0", acelera a descida do gradiente?

Meu palpite é devido à derivada, como ReLU tem uma derivada descontínua em 0. Portanto, se você usar a definição:

$$f' \approx \frac{f(x+\epsilon) -f(x-\epsilon)}{2 \epsilon}$$

$x$

Uma preliminar: existem três atributos de uma função que são relevantes aqui: contínua, monotônica e diferenciável. A RELU é uma porca monotônica contínua e não diferenciável em z = 0. A relu exponencial ou ELU são todos esses três atributos.

O diferencial ou gradiente fornece uma direção. Quando a derivada de uma função é indefinida em um ponto, a direção do gradiente é indeterminada nesse ponto.

Ao aplicar a descida do gradiente, desejamos modificar continuamente os parâmetros, de modo que a função de perda diminua constantemente, o que é o mesmo que dizer que queremos continuar descendo para o mínimo.

Quando a derivada de uma função de perda é indefinida em algum momento, o gradiente é indeterminado. Isso significa que a descida do gradiente pode se mover na direção errada. A magnitude do atraso causado por essa indeterminação depende da taxa de aprendizado e de outros hiper parâmetros. Independentemente dos hiperparâmetros, estatisticamente, a derivada indefinida em RELU em z = 0, contribui para diminuir a convergência da descida do gradiente.

Ser mais rápido ou mais baixo é um termo relativo e deve ser entendido no contexto do que ele está se comparando. Portanto, para entender isso, devemos primeiro considerar como a descida do gradiente funciona com outros tipos da função de ativação.

Exemplo de configuração

$n$

$z_1 = W_1 x + b_1$

$a_1 = f(z_1)$

...

$z_n = W_n a_{n-1} + b_n$

$y = f(z_n)$

$f$

Tanh e Sigmoid - gradiente de fuga

$f$$f'(x) \in (-1, 1)$$x$

$y$$W_1$

$$\frac{df}{dW_1} = \frac{df}{dW_{n}} \frac{dW_{n}}{dW_{n-1}} ... \frac{dW_{2}}{dW_{1}}$$

$0 < i < n$

$$\frac{dX_{i}}{dX_{i-1}} = f'(W_{i-1}a_{i-2} + b_{i-1}) \times a_{i-2} \in (-1, 1)$$

$(-1, 1)$$f'$$a_{i-2}$$(-1, 1)$

$\frac{df}{dW_1}$$n$$\frac{df}{dW_1}$

RELU e Dead Neuron

$a_i > 0$$f$

$$\frac{dX_{i}}{dX_{i-1}} = a_{i-2}$$ $$\frac{df}{dW_1} = a_1 a_2 a_3 ... a_{n-1}$$

$x > 0$$x < 0$

RELU e ELU com vazamento

$x > 0$$x<1$

Cito o artigo original pela diferença entre os dois.

Embora LReLUs e PReLUs também tenham valores negativos, eles não garantem um estado de desativação robusto ao ruído. As ELUs saturam para um valor negativo com entradas menores e, assim, diminuem a variação e as informações propagadas adiante.

A explicação intuitiva é a seguinte. Na ELU, sempre que x se tornava pequeno o suficiente, o gradiente se tornava realmente pequeno e saturado (da mesma forma que acontece com Tanh e Sigmoid). O pequeno gradiente significa que o algoritmo de aprendizado pode se concentrar no ajuste de outros pesos sem se preocupar com a interatividade com os neurônios saturados.

Considere um polinômio de grau 2 que pode ser representado como uma superfície lisa em um espaço 3D. Para encontrar o mínimo local, um algoritmo de descida de gradiente precisará considerar a inclinação na direção x e y. Se o gradiente for negativo na direção x e na direção y, não está claro qual caminho é melhor. Portanto, é sensato escolher um caminho em algum lugar no meio. Mas e se já sabemos que tudo é plano (gradientes zero) na direção x, então torna-se um acéfalo seguir a direção y. Ou, em outras palavras, você procura espaço se torna muito menor.

nota especial

No aprendizado profundo, há muitas reivindicações sem evidência empírica suficiente ou entendimento profundo para apoiá-lo. No caso da ELU, embora possa ser verdade que resulta em uma convergência mais rápida para alguns conjuntos de dados, também pode ser verdade que faz com que o algoritmo de aprendizado fique preso no máximo local para um conjunto de dados diferente. Ainda não sabemos o suficiente.

Eu tenho uma noção intuitiva de por que as funções suaves são mais rápidas de otimizar, mas nenhuma prova matemática ou algo assim.

A descida do gradiente calcula a derivada da função de ativação para determinar a alteração nos pesos. Quando a função de ativação tem um corte rígido (por exemplo, em z = 0 para ReLu), a ativação da unidade pode mudar radicalmente (ou seja, sempre zero ou linear) para pontos de dados específicos ao alterar os pesos.

Os outros pesos precisam se adequar a esse comportamento radicalmente diferente de uma unidade específica para pontos de dados específicos. Se, no entanto, o comportamento da unidade mudar radicalmente novamente durante a próxima época, a rede continuará adaptando-se às mudanças na época anterior.

Com uma função suave, não existem mudanças radicais. E assim a rede pode se estabilizar mais gradualmente.