Da regra de Perceptron à Descida de Gradiente: Como os Perceptrons com uma função de ativação sigmóide são diferentes da Regressão Logística?

21

Essencialmente, minha pergunta é que, nos Perceptrons multicamadas, os perceptrons são usados com uma função de ativação sigmóide. De modo que na regra de actualização é calculado como $\hat{y}$

\hat{y} = \frac{1}{1 + \exp (- w^{T} x_{i})}

$\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$

Como esse Perceptron "sigmóide" difere de uma regressão logística então?

Eu diria que um perceptron sigmóide de camada única é equivalente a uma regressão logística no sentido de que ambos usam na regra de atualização. Além disso, ambos retornam $\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$ $\operatorname{sign}(\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)})$ na previsão. No entanto, em perceptrons multicamadas, a função de ativação sigmóide é usada para retornar uma probabilidade, não um sinal ligado, em contraste com a regressão logística e um perceptron de camada única.

Eu acho que o uso do termo "Perceptron" pode ser um pouco ambíguo, então deixe-me fornecer alguns antecedentes com base no meu entendimento atual sobre perceptrons de camada única:

Regra de perceptron clássica

Primeiro, o perceptron clássico de F. Rosenblatt, onde temos uma função step:

Δ w_{d} = η (y_{i} - \hat{y_{i}}) x_{i d} y_{i}, \hat{y_{i}} \in {- 1, 1}

$\Delta w_d = \eta(y_{i} - \hat{y_i})x_{id} \quad\quad y_{i}, \hat{y_i} \in \{-1,1\}$

para atualizar os pesos

w_{k} := w_{k} + Δ w_{k} (k \in {1, . . ., d})

$w_k := w_k + \Delta w_k \quad \quad (k \in \{1, ..., d\})$

Para que seja calculado como $\hat{y}$

\hat{y} = sign (w^{T} x_{i}) = sign (w_{0} + w_{1} x_{i 1} + . . . + w_{d} x_{i d})

$\hat{y} = \operatorname{sign}(\mathbf{w}^T\mathbf{x}_i) = \operatorname{sign}(w_0 + w_1x_{i1} + ... + w_dx_{id})$

Gradiente descendente

Usando a descida gradiente, otimizamos (minimizamos) a função de custo

J (w) = \sum_{i} \frac{1}{2} (y_{i} - \hat{y_{i}})^{2} y_{i}, \hat{y_{i}} \in R

$J(\mathbf{w}) = \sum_{i} \frac{1}{2}(y_i - \hat{y_i})^2 \quad \quad y_i,\hat{y_i} \in \mathbb{R}$

onde temos números "reais", vejo isso basicamente análogo à regressão linear com a diferença de que nossa saída de classificação é limiar.

Aqui, damos um passo na direção negativa do gradiente quando atualizamos os pesos

Δ w_{k} = - η \frac{\partial J}{\partial w_{k}} = - η \sum_{i} (y_{i} - \hat{y_{i}}) (- x_{i k}) = η \sum_{i} (y_{i} - \hat{y_{i}}) x_{i k}

$\Delta w_k = - \eta \frac{\partial J}{\partial w_k} = - \eta \sum_i (y_i - \hat{y_i})(- x_{ik}) = \eta \sum_i (y_i - \hat{y_i})x_{ik}$

Mas aqui temos vez de $\hat{y} = \mathbf{w}^T\mathbf{x}_i$ $\hat{y} = \operatorname{sign}(\mathbf{w}^T\mathbf{x}_i)$

w_{k} := w_{k} + Δ w_{k} (k \in {1, . . ., d})

$w_k := w_k + \Delta w_k \quad \quad (k \in \{1, ..., d\})$

Além disso, calculamos a soma dos erros quadráticos para uma passagem completa em todo o conjunto de dados de treinamento (no modo de aprendizado em lote), em contraste com a regra clássica do perceptron que atualiza os pesos à medida que novas amostras de treinamento chegam (descida analógica ao gradiente estocástico - online Aprendendo).

Função de ativação sigmóide

Agora, aqui está a minha pergunta:

Nos Perceptrons multicamadas, os perceptrons são usados com uma função de ativação sigmóide. Para que na regra de atualização seja calculada como $\hat{y}$

\hat{y} = \frac{1}{1 + \exp (- w^{T} x_{i})}

$\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$

Como esse Perceptron "sigmóide" difere de uma regressão logística então?

4

Surpreendente, essa pergunta por si só me permitiu condensar meu aprendizado de máquina e os princípios básicos da rede neural!

— Varun

4

Usando a descida gradiente, otimizamos (minimizamos) a função de custo

$J (w) = \sum_{i} \frac{1}{2} (y_{i} - \hat{y_{i}})^{2} y_{i}, \hat{y_{i}} \in R$ $J(\mathbf{w}) = \sum_{i} \frac{1}{2}(y_i - \hat{y_i})^2 \quad \quad y_i,\hat{y_i} \in \mathbb{R}$

Se você minimizar o erro médio quadrático, será diferente da regressão logística. A regressão logística é normalmente associada à perda de entropia cruzada; aqui está uma página de introdução da biblioteca scikit-learn .

(Presumo que perceptrons multicamadas sejam a mesma coisa que redes neurais.)

Se você usou a perda de entropia cruzada (com regularização) para uma rede neural de camada única, será o mesmo modelo (modelo log-linear) da regressão logística. Se você usar uma rede de várias camadas, ela poderá ser vista como regressão logística com funções de base não lineares paramétricas.

No entanto, em perceptrons multicamadas, a função de ativação sigmóide é usada para retornar uma probabilidade, não um sinal ligado, em contraste com a regressão logística e um perceptron de camada única.

Os resultados da regressão logística e das redes neurais com função de ativação sigmóide podem ser interpretados como probabilidades. Como a perda de entropia cruzada é realmente a probabilidade logarítmica negativa definida através da distribuição de Bernoulli.

— dontloo
fonte

2

Como a descida do gradiente atualiza cada parâmetro de forma a reduzir o erro de saída, que deve ser uma função contínua de todos os parâmetros. A ativação baseada em limites não é diferenciável, e é por isso que a ativação sigmóide ou tanh é usada.

Aqui está um NN de camada única

$\frac{dJ(w,b)}{d\omega_{kj}} =\frac{dJ(w,b)}{dz_k}\cdot \frac{dz_k}{d\omega_{kj}}$

$\frac{dJ(w,b)}{dz_k} = (a_k -y_k)(a_k(1-a_k))$

$\frac{dz_k}{d\omega_{kj}} = x_k$

$J(w,b) = \frac{1}{2} (y_k - a_k)^2$

$a_k = sigm(z_k) = sigm(W_{kj}*x_k + b_k)$

$J$ $z_k$

Aqui está um link que explica isso em geral.

Edit: Talvez, eu não entendi o que você entende por perceptron. Se não me engano, o perceptron é uma soma ponderada de entradas. Se você alterar a retenção com a função logística, ela se transformará em regressão logística. NN multicamada com funções de ativação sigmóide (logística) são camadas em cascata compostas de regressões logísticas.

— yasin.yazici
fonte

3

Isso não responde à pergunta.

— Neil G

Obrigado por escrever este belo comentário, mas não era isso que eu estava pedindo. A minha pergunta não era "por gradiente de descida", mas "o que faz um perceptron com uma diferente função de ativação sigmóide de regressão logística"

y = W^{T} X

$y = W^T X$

1

y = w_{j}^{T} x_{j i}

$y = w_j^Tx_{ji}$

η (y - s i g n (w^{T} x_{i})) x

$\eta (y - sign(w^Tx_i))x$

η (y - w^{T} x_{i}) x_{i}

$\eta (y - w^Tx_i)x_i$

2

Intuitivamente, penso em um perceptron multicamada como computando uma transformação não linear em meus recursos de entrada e, em seguida, alimentando essas variáveis transformadas em uma regressão logística.

$\beta_i X$ $i$ $\frac{\beta_i X}{\sum_j \beta_j X}$

Não conheço você, mas em meus cursos e pesquisas de modelagem, tentei todos os tipos de transformações sensatas e estúpidas dos recursos de entrada para melhorar seu significado e a previsão geral do modelo. Combinando coisas, pegando toras, combinando duas em uma taxa, etc. Eu não tinha vergonha, mas tinha paciência limitada.

$X$ $\beta_i$

— Dan Van Boxel
fonte