Incapaz de descobrir a camada de incorporação linear na rede neural convolucional?

11

Eu tenho a arquitetura de rede do artigo "aprendendo similaridade de imagem refinada com classificação profunda" e não consigo descobrir como a saída da rede paralela três é mesclada usando a camada de incorporação linear. A única informação fornecida nesta camada, no artigo, é

Por fim, normalizamos os encaixes das três partes e os combinamos com uma camada de encaixe linear. A dimensão da incorporação é 4096.

Alguém pode me ajudar a descobrir o que exatamente o autor quer dizer quando está falando sobre essa camada?

neural-network deep-network

— A. Sam
fonte

É uma pena para mim que não haja resposta para esta pergunta. Porque estou com o mesmo problema. Você descobriu isso?

— LKM

Eu não descobri a resposta, mas apenas concatenei a entrada das três partes e a passei por uma camada densa contendo 4096 nós.

— A. Sam

1

Camada de incorporação linear deve ser apenas um nome sofisticado para uma camada densa sem ativação. 'Linear' significa que não há ativação (ativação é identidade). E a incorporação é um conceito para uma representação vetorial dos dados de entrada (por exemplo, incorporação de palavras). Acredito que os elementos do segundo vetor sejam simplesmente adicionados ao primeiro em termos de elementos.

— Dmytro Prylipko
fonte

0

É mencionado no artigo:

Uma camada de normalização local normaliza o mapa de recursos em torno de uma vizinhança local para ter norma de unidade e média zero. Isso leva a mapas de recursos que são robustos às diferenças de iluminação e contraste.

Eles pegam cada parte do modelo e o normalizam separadamente.

Quanto a combiná-los, como você comentou, para capturar os recursos mais salientes, com uma representação subcompleta, não há necessidade de não linearidade.

— Fadi Bakoura
fonte