O ensino a distância baseado em trigêmeos para reconhecimento facial parece muito eficaz. Estou curioso sobre um aspecto particular do artigo. Como parte de encontrar uma incorporação para um rosto, os autores normalizam as unidades ocultas usando a normalização L2, que restringe a representação a uma hiperesfera. Por que isso é útil ou necessário?
Respostas:
A distância euclidiana ao quadrado entre vetores normalizados é proporcional à semelhança de cosseno (ref: wikipedia ), portanto, a vantagem de usar a normalização é mais ou menos a vantagem da semelhança de cosseno sobre Distância euclidiana. Como mencionado na resposta de Andy Jones, sem normalização, escalar a margem por um fator apenas escalaria a incorporação correspondentemente.
Outra propriedade interessante é que, com essa normalização, o valor da distância euclidiana ao quadrado é garantido dentro da faixa , o que nos poupa muito esforço ao escolher um parâmetro de margem adequado .
Por exemplo, em outro artigo referenciado por este artigo, ele usa o chamado modelo de mola, que se baseia na distância euclidiana quadrada (não normalizada), onde uma das dificuldades práticas é determinar uma margem e um ponto de divisão adequados, pois a incorporação muda constantemente conforme o treinamento prossegue.
Se você está procurando implementar a camada de normalização, aqui está um blog sobre as derivações e a implementação no Caffe (parte do blog é em chinês, mas não afeta a leitura).
Eu acho que é porque fornece um local e uma escala preferidos para a incorporação. O local preferido significa que a perda não é mais invariável à conversão, o que é útil quando você está trabalhando com ponto flutuante, enquanto a escala preferida fornece o significado do parâmetro de margem. Sem a restrição da hiperesfera, acho que inflar a margem por um fator de apenas escalaria todos os embeddings por um fator de .