Esclarecimento sobre a implementação da regra de Perceptron vs. descida de gradiente vs. descida estocástica de gradiente

Eu experimentei um pouco com diferentes implementações do Perceptron e quero ter certeza de que entendi as "iterações" corretamente.

Regra original do perceptron de Rosenblatt

Tanto quanto eu entendo, no algoritmo clássico de Rosenblatt perceptron, os pesos são atualizados simultaneamente após cada exemplo de treinamento via

$\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + \eta(target - actual)x_i$

onde $eta$ é a regra de aprendizado aqui. E o alvo e o real são limitados (-1 ou 1). Eu o implementei como 1 iteração = 1 passagem sobre a amostra de treinamento, mas o vetor de peso é atualizado após cada amostra de treinamento.

E eu calculo o valor "real" como

$sign ({\pmb{w}^T\pmb{x}}) = sign( w_0 + w_1 x_1 + ... + w_d x_d)$

Descida do gradiente estocástico

$\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + \eta(target - actual)x_i$

Igual à regra do perceptron, no entanto, targete actualnão são limiares, mas valores reais. Além disso, conto "iteração" como caminho sobre a amostra de treinamento.

Tanto o SGD quanto a regra perceptron clássica convergem nesse caso linearmente separável; no entanto, estou tendo problemas com a implementação da descida do gradiente.

Gradiente descendente

Aqui, examino a amostra de treinamento e resuma as alterações de peso para 1 passagem sobre a amostra de treinamento e atualizei os pesos posteriormente, por exemplo,

para cada amostra de treinamento:

$\Delta{w_{new}} \mathrel{{+}{=}} \Delta{w}^{(t)} + \eta(target - actual)x_i$

...

após 1 passagem sobre o conjunto de treinamento:

$\Delta{w} \mathrel{{+}{=}} \Delta{w_{new}}$

Gostaria de saber se esta suposição está correta ou se estou faltando alguma coisa. Tentei várias taxas de aprendizado (até infinitamente pequenas), mas nunca consegui mostrar nenhum sinal de convergência. Então, eu estou querendo saber se eu entendi mal sth. aqui.

Obrigado Sebastian

Você tem alguns erros nas suas atualizações. Eu acho que geralmente você está confundindo o valor dos pesos atuais com a diferença entre os pesos atuais e os anteriores. Você tem $\Delta$ símbolos espalhados por onde não deveria haver nenhum, e + = onde você deveria ter =.

Perceptron:

$\pmb{w}^{(t+1)} = \pmb{w}^{(t)} + \eta_t (y^{(i)} - \hat{y}^{(i)}) \pmb{x}^{(i)}$

$\hat{y}^{(i)} = \text{sign} ({\pmb{w}^\top\pmb{x}^{(i)}})$$i^{th}$

Isso pode ser visto como um método estocástico de descida de subgradiente na seguinte função "perda de perceptron" *:

Perda de Perceptron:

.$L_{\pmb{w}}(y^{(i)}) = \max(0, -y^{(i)} \pmb{w}^\top\pmb{x}^{(i)})$

$\partial L_{\pmb{w}}(y^{(i)}) = \begin{array}{rl} \{ 0 \}, & \text{ if } y^{(i)} \pmb{w}^\top\pmb{x}^{(i)} > 0 \\ \{ -y^{(i)} \pmb{x}^{(i)} \}, & \text{ if } y^{(i)} \pmb{w}^\top\pmb{x}^{(i)} < 0 \\ [-1, 0] \times y^{(i)} \pmb{x}^{(i)}, & \text{ if } \pmb{w}^\top\pmb{x}^{(i)} = 0 \\ \end{array}$.

Since perceptron already is a form of SGD, I'm not sure why the SGD update should be different than the perceptron update. The way you've written the SGD step, with non-thresholded values, you suffer a loss if you predict an answer too correctly. That's bad.

Your batch gradient step is wrong because you're using "+=" when you should be using "=". The current weights are added for each training instance. In other words, the way you've written it,

$\pmb{w}^{(t+1)} = \pmb{w}^{(t)} + \sum_{i=1}^n \{\pmb{w}^{(t)} - \eta_t \partial L_{\pmb{w}^{(t)}}(y^{(i)}) \}$.

What it should be is:

$\pmb{w}^{(t+1)} = \pmb{w}^{(t)} - \eta_t \sum_{i=1}^n {\partial L_{\pmb{w}^{(t)}}(y^{(i)}) }$.

Also, in order for the algorithm to converge on every and any data set, you should decrease your learning rate on a schedule, like $\eta_t = \frac{\eta_0}{\sqrt{t}}$.

* The perceptron algorithm is not exactly the same as SSGD on the perceptron loss. Usually in SSGD, in the case of a tie ($\pmb{w}^\top\pmb{x}^{(i)} = 0$), $\partial L= [-1, 0] \times y^{(i)} \pmb{x}^{(i)}$, so $\pmb{0} \in \partial L$, so you would be allowed to not take a step. Accordingly, perceptron loss can be minimized at $\pmb{w} = \pmb{0}$, which is useless. But in the perceptron algorithm, you are required to break ties, and use the subgradient direction $-y^{(i)} \pmb{x}^{(i)} \in \partial L$ if you choose the wrong answer.

So they're not exactly the same, but if you work from the assumption that the perceptron algorithm is SGD for some loss function, and reverse engineer the loss function, perceptron loss is what you end up with.