Motivando unidades de saída sigmóide em redes neurais começando com probabilidades de log linear não normalizadas em

12

Antecedentes: Estou estudando o capítulo 6 do Deep Learning de Ian Goodfellow e Yoshua Bengio e Aaron Courville. Na seção 6.2.2.2 (páginas 182 de 183, que pode ser vista aqui é motivado o uso de sigmóide na saída . $P(y=1|x)$

Para resumir alguns dos materiais que deixe ser um neurónio de saída antes de uma activação é aplicado, onde é a saída da camada oculta anterior, é um vector de pesos e é um viés escalar. O vetor de entrada é denotado (do qual é uma função) e o valor de saída é denotado onde é a função sigmóide. O livro deseja definir uma distribuição de probabilidade sobre usando o valor

z = w^{T} h + b

$z = w^Th+b$

h

$h$

w

$w$

b

$b$

x

$x$

h

$h$

y = ϕ (z)

$y=\phi(z)$

ϕ

$\phi$

y

$y$

z

$z$ . No segundo parágrafo da página 183:

Nós omitimos a dependência de no momento para discutir como definir uma distribuição de probabilidade sobre usando o valor . O sigmóide pode ser motivado através da construção de uma distribuição de probabilidade não normalizada , que não soma 1. Podemos então dividir por uma constante apropriada para obter uma distribuição de probabilidade válida. Se começarmos com a suposição de que as probabilidades log não-normalizadas são lineares em e , podemos exponenciar para obter as probabilidades não-normalizadas. Em seguida, normalizamos para ver que isso gera uma distribuição de Bernoulli controlada por uma transformação sigmoidal de z: $x$ $y$ $z$ $\tilde P(y)$ $y$ $z$
$\begin{aligned} \log \tilde{P} (y) & = y z \\ \tilde{P} (y) & = \exp (y z) \\ P (y) & = \frac{\exp (y z)}{\sum_{y^{'} = 0}^{1} \exp (y^{'} z)} \\ P (y) & = ϕ ((2 y - 1) z) \end{aligned}$ $\begin{align} \log\tilde P(y) &= yz \\ \tilde P(y) &= \exp(yz) \\ P(y) &= \frac{\exp(yz)}{\sum_{y'=0}^1 \exp(y'z) } \\ P(y) &= \phi((2y-1)z) \end{align}$

Perguntas: Estou confuso sobre duas coisas, principalmente a primeira:

De onde vem a suposição inicial? Por que a probabilidade log não normalizada é linear em e ? Alguém pode me dar alguma inituition sobre como os autores iniciados com ? $y$ $z$ $\log\tilde P(y) = yz$
Como segue a última linha?

neural-networks deep-learning

— HBeel
fonte

8

Existem dois resultados possíveis para . É muito importante, porque essa propriedade altera o significado da multiplicação. Há duas possibilidades: $y \in \{0, 1\}$

\begin{aligned} \log \tilde{P} (y = 1) & = z \\ \log \tilde{P} (y = 0) & = 0 \end{aligned}

$\begin{align} \log\tilde P(y=1) &= z \\ \log\tilde P(y=0) &= 0 \\ \end{align}$

Além disso, é importante notar que a probabilidade logarítmica não normalizada para é constante. Essa propriedade deriva da suposição principal. A aplicação de qualquer função determinística ao valor constante produzirá uma saída constante. Essa propriedade simplificará a fórmula final quando realizaremos a normalização em todas as probabilidades possíveis, porque precisamos conhecer apenas a probabilidade não normalizada para e para sempre é constante. E, como a saída da rede tem uma probabilidade logarítmica não normalizada, exigiremos apenas uma saída, porque outra assumida como constante. $y=0$ $y=1$ $y=0$

Em seguida, aplicamos exponenciação à probabilidade de logaritmo não normalizado para obter uma probabilidade não normalizada.

\begin{aligned} \tilde{P} (y = 1) & = e^{z} \\ \tilde{P} (y = 0) & = e^{0} = 1 \end{aligned}

$\begin{align} \tilde P(y=1) &= e ^ z \\ \tilde P(y=0) &= e ^ 0 = 1 \end{align}$

Em seguida, apenas normalizamos as probabilidades, dividindo cada probabilidade não normalizada pela soma de todas as probabilidades possíveis não normalizadas.

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} \\ P (y = 0) = \frac{1}{1 + e^{z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} \\ P(y=0) = \frac{1}{1 + e ^ z} \end{align}$

$P(y=1)$

\begin{aligned} P (y = 1) = \frac{e^{x}}{1 + e^{x}} = \frac{1}{\frac{e^{x} + 1}{e^{x}}} = \frac{1}{1 + \frac{1}{e^{x}}} = \frac{1}{1 + e^{- x}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ x}{1 + e ^ x} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{1 + e ^ {-x}} \end{align}$

$(2y−1)$ $0$ $-1$ $1$ $1$

P (y) = σ ((2 y - 1) z) = {\begin{cases} σ (z) = \frac{1}{1 + e^{- z}} = \frac{e^{z}}{1 + e^{z}} & when y = 1 \\ σ (- z) = \frac{1}{1 + e^{- (- z)}} = \frac{1}{1 + e^{z}} & when y = 0 \end{cases}

$P(y) = \sigma((2y - 1)z) = \begin{cases} \sigma(z) = \frac{1}{1 + e ^ {-z}} = \frac{e ^ z}{1 + e ^ z} & \text{when } y = 1 \\ \sigma(-z) = \frac{1}{1 + e ^ {-(-z)}} = \frac{1}{1 + e ^ z} & \text{when } y = 0 \\ \end{cases}$

$\sigma$ $P(y)$

— itdxer
fonte

y = 0

$y=0$

y = 1

$y=1$

y = 1

$y=1$

y \times z

$y\times z$

y

$y$

z

$z$

a y + b z + c

$ay + bz + c$

\log

$\log$

y z

$yz$

Entendo, essa é realmente uma pergunta interessante. Não prestei atenção a essa afirmação quando li a pergunta pela primeira vez. Agora parece estranho para mim também. Um problema é essa variável binária y e não tenho certeza de como verificar as propriedades da função linear nessas circunstâncias. Acho que fará sentido se você fizer perguntas separadas, talvez alguém possa explicar por que foi escrito dessa maneira.

— itdxer

2

Também acho difícil seguir este fragmento do livro, e a resposta acima de itdxer merece algum tempo para ser compreendida também por alguém que não seja fluente com probabilidades e raciocínio matemático. No entanto, consegui ler a resposta ao contrário, então comece com o sigmóide de z

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1 + e^{- z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} = \frac{1}{1 + e ^ {-z}} \end{align}$

e tente seguir de volta para.

\begin{aligned} \log \tilde{P} (y) & = y z \end{aligned}

$\begin{align} \log\tilde P(y) &= yz \end{align}$

Então faz sentido porque eles começaram a explicação com yz - é por design, o mesmo que o final

\begin{aligned} σ ((2 y - 1) z) \end{aligned}

$\begin{align} \sigma((2y-1)z) \end{align}$

por construção permite obter -1 para y = 0 e 1 para y = 1, que são os únicos valores possíveis de y sob o Bernoulli.

— Jakub Jurek
fonte

0

Aqui está um fraseado mais formal que irá agradar àqueles com formação teórica em medidas.

$Y$ $P_Y$ $y\in \{0,1\}$ $P_Y(y)=P(Y=y)$ $\tilde P_Y$

Temos a seguinte cadeia de implicações:

\begin{aligned} \log {\tilde{P}}_{Y} (y) = y z & ⟹ {\tilde{P}}_{Y} (y) = \exp (y z) \\ ⟹ P_{Y} (y) = \frac{e^{y z}}{e^{0 \cdot z} + e^{1 \cdot z}} = \frac{e^{y z}}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y \frac{e^{z}}{1 + e^{z}} + (1 - y) \frac{1}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y σ (z) + (1 - y) σ (- z) \\ ⟹ P_{Y} (y) = σ ((2 y - 1) z) \end{aligned}

$\begin{aligned} \log \tilde P_Y(y)=yz &\implies \tilde P_Y(y) = \exp(yz)\\ &\implies P_Y(y) = \frac{e^{yz}}{e^{0\cdot z}+e^{1\cdot z}}=\frac{e^{yz}}{1+e^{ z}}\\ &\implies P_Y(y) =y\frac{e^{z}}{1+e^{ z}} + (1-y)\frac{1}{1+e^{ z}}\\ &\implies P_Y(y) =y\sigma(z) + (1-y)\sigma(-z)\\ &\implies P_Y(y) = \sigma((2y-1)z) \end{aligned}$

$\{0,1\}$ $\{-1,1\}$

— Gabriel Romon
fonte