Como calcular o termo delta de uma camada convolucional, dados os termos e pesos delta da camada convolucional anterior?

Estou tentando treinar uma rede neural artificial com duas camadas convolucionais (c1, c2) e duas camadas ocultas (c1, c2). Estou usando a abordagem de retropropagação padrão. No retrocesso, calculo o termo de erro de uma camada (delta) com base no erro da camada anterior, nos pesos da camada anterior e no gradiente da ativação em relação à função de ativação da camada atual. Mais especificamente, o delta da camada l se parece com isso:

delta(l) = (w(l+1)' * delta(l+1)) * grad_f_a(l)

Eu sou capaz de calcular o gradiente de c2, que se conecta a uma camada regular. Apenas multiplico os pesos de h1 pelo delta. Em seguida, reformulo essa matriz na forma de saída de c2, multiplico-a pelo gradiente da função de ativação e pronto.

Agora eu tenho o termo delta de c2 - que é uma matriz 4D de tamanho (featureMapSize, featureMapSize, filterNum, patternNum). Além disso, tenho os pesos de c2, que são uma matriz 3D de tamanho (filterSize, filterSize, filterNum).

Com esses dois termos e com o gradiente de ativação de c1, quero calcular o delta de c1.

Longa história curta:

Dado o termo delta de uma camada convolucional anterior e os pesos dessa camada, como computo o termo delta de uma camada convolucional?

— cdwoelk
fonte

Primeiro, deduzo o erro de uma camada convolucional abaixo para simplificar uma matriz unidimensional (entrada) que pode ser facilmente transferida para uma multidimensional:

Assumimos aqui que de comprimento são as entradas da convés. layer, é o tamanho do núcleo de pesos denotando cada peso por a saída é . Portanto, podemos escrever (observe a soma do zero): onde $y^{l-1}$ $N$ $l-1$ $m$ $w$ $w_i$ $x^l$

x_{Eu}^{eu} = \sum_{uma = 0 0}^{m - 1 1} W_{uma} y_{uma + Eu}^{eu - 1 1}

$x_i^l = \sum\limits_{a=0}^{m-1} w_a y_{a+i}^{l-1}$

a função de activação (por exemplo sigmoidal). Com isso em mãos, podemos considerar agora a função de erro

e a função de erro na camada convolucional (a da camada anterior) fornecida por

. Agora, queremos descobrir a dependência do erro em um dos pesos nas camadas anteriores:

y_{i}^{l} = f (x_{i}^{l})

$y_i^l = f(x_i^l)$

f

$f$

E

$E$

\partial E / \partial y_{i}^{l}

$\partial E / \partial y_i^l$

onde temos a soma de toda expressão em que

ocorre, que são

. Note também que nós sabemos o último termo surge do fato de que

\frac{\partial E}{\partial W_{uma}} = \sum_{uma = 0 0}^{N - m} \frac{\partial E}{\partial x_{Eu}^{eu}} \frac{\partial x_{Eu}^{eu}}{\partial W_{uma}} = \sum_{uma = 0 0}^{N - m} \frac{\partial E}{\partial W_{uma}} y_{Eu + uma}^{eu - 1 1}

$\begin{equation} \frac{\partial E}{\partial w_a} = \sum\limits_{a=0}^{N-m} \frac{\partial E}{\partial x_i^l} \frac{\partial x_i^l}{\partial w_a} = \sum\limits_{a=0}^{N-m}\frac{\partial E}{\partial w_a} y_{i+a}^{l-1} \end{equation}$

w_{a}

$w_a$

N - m

$N-m$

qual você pode ver a partir da primeira equação. Para calcular o gradiente, precisamos conhecer o primeiro termo, que pode ser calculado por:

\frac{\partial x_{i}^{l}}{\partial w_{a}} = y_{i + a}^{l - 1}

$\frac{\partial x_i^l}{\partial w_a}= y_{i+a}^{l-1}$

onde novamente o primeiro termo é o erro na camada anterior

da função de ativação não linear.

\frac{\partial E}{\partial x_{Eu}^{eu}} = \frac{\partial E}{\partial y_{Eu}^{eu}} \frac{\partial y_{Eu}^{eu}}{\partial x_{Eu}^{eu}} = \frac{\partial E}{\partial y_{Eu}^{eu}} \frac{\partial}{\partial x_{Eu}^{eu}} f (x_{Eu}^{eu})

$\frac{\partial E}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial y_i^l}{\partial x_i^l} = \frac{\partial E}{\partial y_i^l} \frac{\partial}{\partial x_i^l} f(x_i^{l})$

f

$f$

Tendo todas as entidades necessárias, agora podemos calcular o erro e propagá-lo de volta com eficiência para a camada preciosa:

δ_{uma}^{eu - 1 1} = \frac{\partial E}{\partial y_{Eu}^{eu - 1 1}} = \sum_{uma = 0 0}^{m - 1 1} \frac{\partial E}{\partial x_{Eu - uma}^{eu}} \frac{\partial x_{Eu - uma}^{eu}}{\partial y_{Eu}^{eu - 1 1}} = \sum_{uma = 0 0}^{m - 1 1} \frac{\partial E}{\partial x_{Eu - uma}^{eu}} W_{uma}^{f eu Eu p p e d}

$\delta^{l-1}_a = \frac{\partial E}{\partial y_i^{l-1} } = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x_{i-a}^l} \frac{\partial x_{i-a}^l}{\partial y_i^{l-1}} = \sum\limits_{a=0}^{m-1} \frac{\partial E}{\partial x^l_{i-a}} w_a^{flipped}$

x_{i}^{l}

$x_i^l$

y_{i}^{l - 1}

$y_i^{l-1}$

f l i p p e d

$flipped$

T

$T$

Portanto, você pode apenas calcular o erro na próxima camada (agora em notação vetorial):

δ^{eu} = (W^{eu})^{T} δ^{eu + 1 1} f^{'} (x^{eu})

$\delta^{l} = (w^{l})^{T} \delta^{l+1} f'(x^{l})$

δ^{eu} = você p s uma m p eu e ((W^{eu})^{T} δ^{eu + 1 1}) f^{'} (x^{eu})

$\delta^{l} = upsample((w^{l})^{T} \delta^{l+1}) f'(x^{l})$

u p s a m p l e

$upsample$

Por favor, sinta-se livre para adicionar ou me corrigir!

Para referências, consulte:

http://ufldl.stanford.edu/tutorial/supervised/ConvolutionalNeuralNetwork/ http://andrew.gibiansky.com/blog/machine-learning/convolutional-neural-networks/

e para uma implementação C ++ (sem necessidade de instalação): https://github.com/nyanp/tiny-cnn#supported-networks

— LeoW.
fonte