Introdução

Dentro de uma rede neural convolucional, geralmente temos uma estrutura / fluxo geral que se parece com isso:

1. imagem de entrada (ou seja, um vetor 2D x)

(A primeira camada convolucional (Conv1) começa aqui ...)

2. envolva um conjunto de filtros ( w1) ao longo da imagem 2D (ou seja, faça as z1 = w1*x + b1multiplicações de produtos escalonados), onde z1é 3D e b1apresenta vieses.
3. aplique uma função de ativação (por exemplo, ReLu) para tornar z1não linear (por exemplo a1 = ReLu(z1)), onde a1é 3D.

(A segunda camada convolucional (Conv2) começa aqui ...)

4. envolva um conjunto de filtros ao longo das ativações recém-calculadas (ou seja, faça as z2 = w2*a1 + b2multiplicações de produtos escalonados), onde z2é 3D e b2é tendencioso.
5. aplique uma função de ativação (por exemplo, ReLu) para tornar z2não linear (por exemplo a2 = ReLu(z2)), onde a2é 3D.

 A questão

A definição do termo "mapa de características" parece variar de literatura para literatura. Concretamente:

• Para a camada convolutional 1, faz corresponde "mapa recurso" ao vetor de entrada x, ou o produto do ponto de saída z1, ou as ativações de saída a1, ou o "processo" conversão xpara a1, ou algo mais?
• Da mesma forma, para a camada convolutional 2, faz "mapa recurso" corresponde ao ativações de entrada a1, ou o produto do ponto de saída z2, ou a ativação da saída a2, ou o "processo" conversão a1para a2, ou algo mais?

Além disso, é verdade que o termo "mapa de recursos" é exatamente o mesmo que "mapa de ativação"? (ou eles realmente significam duas coisas diferentes?)

 Referências adicionais:

Trechos de redes neurais e aprendizado profundo - Capítulo 6 :

* A nomenclatura está sendo usada livremente aqui. Em particular, estou usando "mapa de recursos" para significar não a função calculada pela camada convolucional, mas a ativação dos neurônios ocultos que saem da camada. Esse tipo de abuso leve da nomenclatura é bastante comum na literatura de pesquisa.

Trechos de Visualização e compreensão de redes convolucionais de Matt Zeiler :

Neste artigo, apresentamos uma técnica de visualização que revela os estímulos de entrada que excitam os mapas de recursos individuais em qualquer camada do modelo. [...] Nossa abordagem, por outro lado, fornece uma visão não paramétrica da invariância, mostrando quais padrões do conjunto de treinamento ativam o mapa de recursos. [...] uma operação de contraste local que normaliza as respostas nos mapas de recursos. [...] Para examinar uma determinada ativação de convnet, definimos todas as outras ativações na camada para zero e passamos os mapas de recursos como entrada para a camada deconvnet anexada. [...] O convnet usa não linearidades reais, que retificam os mapas de recursos, garantindo assim que os mapas de recursos sejam sempre positivos. [...] O convnet usa filtros aprendidos para envolver os mapas de recursos da camada anterior. [...] Fig. 6, essas visualizações são representações precisas do padrão de entrada que estimulam o mapa de recursos fornecido no modelo [...] quando as partes da imagem de entrada original correspondentes ao padrão são ocluídas, vemos uma queda distinta de atividade no mapa de recursos. [...]

Observações: também introduz o termo "mapa de características" e "mapa de características retificado" na Fig. 1.

Trechos do capítulo Stanford CS231n na CNN :

[...] Uma armadilha perigosa que pode ser facilmente percebida com esta visualização é que alguns mapas de ativação podem ser zero para muitas entradas diferentes, o que pode indicar filtros mortos e pode ser um sintoma de altas taxas de aprendizado [...] Ativações de aparência típica na primeira camada CONV (esquerda) e na quinta camada CONV (direita) de um AlexNet treinado olhando para uma foto de um gato. Cada caixa mostra um mapa de ativação correspondente a algum filtro. Observe que as ativações são esparsas (a maioria dos valores é zero, nesta visualização mostrada em preto) e principalmente local.

Trechos de um guia do iniciante para entender redes neurais convolucionais

[...] Todo local exclusivo no volume de entrada produz um número. Depois de deslizar o filtro por todos os locais, você descobrirá que resta um conjunto de números 28 x 28 x 1, que chamamos de mapa de ativação ou mapa de recursos.

Um mapa de recursos, ou mapa de ativação, são as ativações de saída para um determinado filtro (a1 no seu caso) e a definição é a mesma, independentemente da camada em que você está.

Mapa de recursos e mapa de ativação significam exatamente a mesma coisa. É chamado de mapa de ativação porque é um mapeamento que corresponde à ativação de diferentes partes da imagem e também um mapa de recursos, porque também é um mapeamento de onde um determinado tipo de recurso é encontrado na imagem. Uma ativação alta significa que um determinado recurso foi encontrado.

Um "mapa de características retificado" é apenas um mapa de características criado usando o Relu. Você pode ver o termo "mapa de recursos" usado para o resultado dos produtos com pontos (z1), porque também é realmente um mapa de onde certos recursos estão na imagem, mas isso não é comum.

Antes de falar sobre o significado do mapa de características, vamos apenas definir o termo do vetor de características.

vetor de característica é representação vetorial de objetos. Por exemplo, um carro pode ser representado por [número de rodas, porta. janelas, idade ..etc].

O mapa de características é uma função que pega vetores de características em um espaço e os transforma em vetores de características em outro. Por exemplo, dado um vetor de característica [volume, peso, altura, largura], ele pode retornar [1, volume / peso, altura * largura] ou [altura * largura] ou mesmo apenas [volume]