Em primeiro lugar, alguns algoritmos convergem mesmo com pesos iniciais zero. Um exemplo simples é uma Rede Perceptron Linear. Obviamente, muitas redes de aprendizagem requerem uma ponderação inicial aleatória (embora isso não seja uma garantia de obter a resposta mais rápida e melhor ).
As redes neurais usam retropropagação para aprender e atualizar pesos, e o problema é que, neste método, os pesos convergem para o ótimo local (custo / perda mínimo local), não para o ótimo global.
A ponderação aleatória ajuda a rede a se arriscar em cada direção no espaço disponível e gradualmente melhorá-las para chegar a uma resposta melhor e não se limitar a uma direção ou resposta.
[A imagem abaixo mostra um exemplo unidimensional de como a convergência. Dada a localização inicial, a otimização local é alcançada, mas não uma otimização global. Em dimensões mais altas, a ponderação aleatória pode aumentar as chances de estar no lugar certo ou de começar melhor, resultando em pesos convergentes para valores melhores.] [1]
[1]: https://i.stack.imgur.com/2dioT.png [Kalhor, A. (2020). Classificação e regressão NNs. Palestra.]
No caso mais simples, o novo peso é o seguinte:
W_new = W_old + D_loss
Aqui, o gradiente da função de custo é adicionado ao peso anterior para obter um novo peso. Se todos os pesos anteriores forem iguais, na próxima etapa todos os pesos podem ser iguais. Como resultado, neste caso, do ponto de vista geométrico, a rede neural está inclinada em uma direção e todos os pesos são iguais. Mas se os pesos forem diferentes, é possível atualizar os pesos em valores diferentes. (dependendo do fator de impacto que cada peso tem no resultado, isso afeta o custo e a atualização dos pesos. Assim, até mesmo um pequeno erro na ponderação inicial aleatória pode ser resolvido).
Este foi um exemplo muito simples, mas mostra o efeito da inicialização de ponderação aleatória no aprendizado. Isso permite que a rede neural vá para espaços diferentes em vez de ir para um lado. Como resultado, no processo de aprendizagem, vá até o melhor desses espaços