Perspectiva histórica
A inicialização de Xavier , originalmente proposta por Xavier Glorot e Yoshua Bengio em "Entendendo a dificuldade de treinar redes neurais profundas de avanço" , é a técnica de inicialização de pesos que tenta fazer com que a variação das saídas de uma camada seja igual à variação de suas entradas. . Essa ideia acabou sendo muito útil na prática. Naturalmente, essa inicialização depende da função de ativação da camada. E em seu trabalho, Glorot e Bengio consideraram a função de ativação sigmóide logística , que era a escolha padrão naquele momento.
Posteriormente, a ativação sigmóide foi superada pelo ReLu, pois permitiu resolver o problema dos gradientes de fuga / explosão. Consequentemente, apareceu uma nova técnica de inicialização, que aplicou a mesma ideia (balanceamento da variação da ativação) a essa nova função de ativação. Foi proposto por Kaiming He em "Investigando profundamente os retificadores: superando o desempenho em nível humano na classificação ImageNet" , e agora é frequentemente chamado de inicialização por He .
No fluxo tensor, a inicialização He é implementada na variance_scaling_initializer()função (que é, de fato, um inicializador mais geral, mas, por padrão, executa a inicialização He), enquanto o inicializador Xavier é logicamente xavier_initializer().
Sumário
Em resumo, a principal diferença para os profissionais de aprendizado de máquina é a seguinte:
- A inicialização funciona melhor para camadas com a ativação do ReLu .
- A inicialização de Xavier funciona melhor para camadas com ativação sigmóide .