Por que usamos ReLU em redes neurais e como usamos?

Por que usamos unidades lineares retificadas (ReLU) com redes neurais? Como isso melhora a rede neural?

Por que dizemos que ReLU é uma função de ativação? A função de ativação softmax não é usada para redes neurais? Eu estou supondo que usamos ambos, ReLU e softmax, assim:

neurônio 1 com saída softmax ----> ReLU na saída do neurônio 1, que é a
entrada do neurônio 2 ---> neurônio 2 com saída softmax -> ...

de modo que a entrada do neurônio 2 é basicamente ReLU (softmax (x1)). Isso está correto?

$f(x)=\max(0, x).$

Uma maneira de as ReLUs melhorarem as redes neurais é acelerar o treinamento. O cálculo do gradiente é muito simples (0 ou 1, dependendo do sinal de ). Além disso, a etapa computacional de uma ReLU é fácil: qualquer elemento negativo é definido como 0,0 - sem exponenciais, sem operações de multiplicação ou divisão.$x$

Os gradientes das redes tangentes logística e hiperbólica são menores que a porção positiva da ReLU. Isso significa que a parte positiva é atualizada mais rapidamente à medida que o treinamento avança. No entanto, isso tem um custo. O gradiente 0 no lado esquerdo tem seu próprio problema, chamado "neurônios mortos", no qual uma atualização de gradiente define os valores recebidos para uma ReLU, de modo que a saída é sempre zero; unidades ReLU modificadas, como ELU (ou Leaky ReLU, ou PReLU, etc.) podem melhorar isso.

$\frac{d}{dx}\text{ReLU}(x)=1\forall x > 0$ . Por outro lado, o gradiente de uma unidade sigmóide é no máximo ; por outro lado, melhor para entradas em uma região próxima de 0, desde (aproximadamente).$0.25$$\tanh$$0.25 < \frac{d}{dx}\tanh(x) \le 1 \forall x \in [-1.31, 1.31]$

Uma coisa importante a destacar é que ReLU é idempotente. Dado que ReLU é , é fácil ver que é verdadeiro para qualquer composição finita . Essa propriedade é muito importante para redes neurais profundas, porque cada camada da rede aplica uma não linearidade. Agora, vamos aplicar duas funções da família sigmóide na mesma entrada repetidamente 1-3 vezes:$\rho(x) = \max(0, x)$$\rho \circ \rho \circ \rho \circ \dots \circ \rho = \rho$

Você pode ver imediatamente que as funções sigmoides "esmagam" suas entradas, resultando no problema de gradiente de fuga: derivadas se aproximam de zero quando (o número de aplicativos repetidos) se aproxima do infinito.$n$

ReLU é a função máxima (x, 0) com entrada x, por exemplo, matriz de uma imagem envolvida. ReLU define todos os valores negativos na matriz x como zero e todos os outros valores são mantidos constantes.

O ReLU é calculado após a convolução e, portanto, uma função de ativação não linear como tanh ou sigmóide.

Softmax é um classificador no final da rede neural. Isso é regressão logística para regularizar saídas para valores entre 0 e 1. (Alternativa aqui é um classificador SVM).

CNN Forward Pass, por exemplo: input-> conv-> ReLU-> Pool-> conv-> ReLU-> Pool-> FC-> softmax

ReLU é um comutador literal. Com um interruptor elétrico, 1 volt de entrada fornece 1 volt de saída, n volts de entrada fornece n volts de saída quando ligado. Ligar / Desligar quando você decide alternar para zero fornece exatamente o mesmo gráfico que ReLU. A soma ponderada (produto escalar) de várias somas ponderadas ainda é um sistema linear. Para uma entrada específica, os comutadores ReLU são ativados ou desativados individualmente. Isso resulta em uma projeção linear específica da entrada para a saída, pois várias somas ponderadas da soma ponderada de ... são conectadas juntas pelos comutadores. Para uma entrada específica e um neurônio de saída específico, existe um sistema composto de somas ponderadas que realmente podem ser resumidas em uma única soma ponderada efetiva. Como os comutadores ReLU estão em zero, não há descontinuidades repentinas na saída para alterações graduais na entrada.

Existem outros algoritmos de soma ponderada (produto de ponto) numericamente eficientes, como as transformações FFT e Walsh Hadamard. Não há razão para que você não possa incorporá-los a uma rede neural baseada em ReLU e se beneficie dos ganhos computacionais. (por exemplo, redes neurais de bancos de filtros fixos.)