Por que existem duas formulações / notações de perda logística diferentes?

Eu já vi dois tipos de formulações de perda logística. Podemos mostrar facilmente que eles são idênticos, a única diferença é a definição do rótulo . $y$

Formulação / notação 1, : $y \in \{0, +1\}$

L (y, β^{T} x) = - y \log (p) - (1 - y) \log (1 - p)

$L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p)$

onde , em que a função logística mapeia um número real para um intervalo de 0,1. $p=\frac 1 {1+\exp(-\beta^Tx)}$ $\beta^T x$

Formulação / notação 2, : $y \in \{-1, +1\}$

L (y, β^{T} x) = \log (1 + \exp (- y \cdot β^{T} x))

$L(y,\beta^Tx)=\log(1+\exp{(-y\cdot \beta^Tx}))$

Escolher uma notação é como escolher um idioma, existem prós e contras para usar um ou outro. Quais são os prós e os contras dessas duas notações?

Minhas tentativas de responder a essa pergunta são: parece que a comunidade estatística gosta da primeira notação e a comunidade da ciência da computação gosta da segunda notação.

A primeira notação pode ser explicada com o termo "probabilidade", pois a função logística transforma um número real $\beta^Tx$ em um intervalo de 0,1.
E a segunda notação é mais concisa e é mais fácil comparar com perda de dobradiça ou perda de 0-1.

Estou certo? Alguma outra visão?

— Haitao Du
fonte

Estou certo de que isso já deve ter sido solicitado várias vezes. Por exemplo: stats.stackexchange.com/q/145147/5739

— StasK

Por que você diz que a segunda notação é mais fácil de comparar com a perda de dobradiça? Só porque está definido em vez de ou algo mais?

{- 1, 1}

$\{-1, 1\}$

{0, 1}

$\{0, 1\}$

— Shadowtalker 27/08/16

Eu meio que gosto da simetria da primeira forma, mas a parte linear está enterrada bem fundo, então pode ser difícil trabalhar com ela.

— Matthew Drury

@ssdecontrol, verifique esta figura, cs.cmu.edu/~yandongl/loss.html em que o eixo x é e o eixo y é o valor da perda. Essa definição é conveniente para comparar com 01 perda, perda de dobradiça, etc.

- y \cdot β^{T} x

$-y\cdot \beta^Tx$

— Haitao Du

Respostas:

A versão curta

A versão longa

O bom da modelagem matemática é que ela é flexível. Essas são realmente funções de perda equivalentes, mas derivam de modelos subjacentes muito diferentes dos dados.

Fórmula 1

A primeira notação deriva de um modelo de probabilidade de Bernoulli para , que é definido convencionalmente em . Nesse modelo, o resultado / etiqueta / classe / previsão é representado por uma variável aleatória que segue uma distribuição . Portanto, sua probabilidade é: $y$ $\{0, 1\}$ $Y$ $\mathrm{Bernoulli}(p)$

P (Y = y | p) = L (p; y) = p^{y} (1 - p)^{1 - y} = {\begin{cases} 1 - p & y = 0 \\ p & y = 1 \end{cases}

$P(Y = y\ |\ p) = \mathcal L(p; y) = p^y\ (1-p)^{1-y} = \begin{cases}1-p &y=0 \\ p &y=1 \end{cases}$

para . Usar 0 e 1 como valores do indicador nos permite reduzir a função por partes no extremo direito para uma expressão concisa. $p\in[0, 1]$

Como você apontou, é possível vincular a uma matriz de dados de entrada deixando . A partir daqui, a manipulação algébrica direta revela que o é o mesmo que o primeiro na sua pergunta (dica: ). Portanto, minimizando a perda de log em $Y$ $x$ $\operatorname{logit} p = \beta^T x$ $\log \mathcal L(p;y)$ $L(y, \beta^Tx)$ $(y - 1) = - (1 - y)$ é equivalente à estimativa de máxima verossimilhança de um modelo de Bernoulli. $\{0, 1\}$

Esta formulação é também um caso especial do modelo linear generalizado , que é formulada como para uma invertível, diferenciável função e uma distribuição de na família exponencial . $Y \sim D(\theta),\ g(Y) = \beta^T x$ $g$ $D$

Fórmula 2

Na verdade .. não estou familiarizado com a Fórmula 2. No entanto, definir em é padrão na formulação de uma máquina de vetores de suporte . Ajustar um SVM corresponde a maximizar $y$ $\{-1, 1\}$

max ({0, 1 - y β^{T} x}) + λ ‖ β ‖^{2} .

$\max \left(\{0, 1 - y \beta^T x \}\right) + \lambda \|\beta\|^2.$

ℓ (y, β) + λ ‖ β ‖^{2}

$\ell(y, \beta) + \lambda \|\beta\|^2$

ℓ

$\ell$

λ

$\lambda$

β

$\beta$

ℓ

$\ell$

L (y, β^{T} x)

$L(y, \beta^Tx)$

— shadowtalker
fonte

p^{y} (1 - p)^{1 - y 1 - y}

$p^y(1 - p)^{\pmb{1 - y}}$

Acho que o @ssdecontrol teve uma resposta muito boa. Eu só quero adicionar alguns comentários para a fórmula 2 para minha própria pergunta.

L (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L(y,\hat y)=\log(1+\exp{(-y\cdot \hat y}))$

A razão pela qual as pessoas gostam dessa formulação é que ela é muito concisa e remove os "detalhes da interpretação da probabilidade".

$\hat y$ $y$ $\hat y$

L_{01} (y, \hat{y}) = I [y \cdot \hat{y} > 0] L_{hinge} (y, \hat{y}) = (1 - y \cdot \hat{y})_{+} L_{logistic} (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L_{01}(y,\hat y)=I[y \cdot \hat y >0]\\ L_{\text{hinge}}(y,\hat y)=(1-y \cdot \hat y)_+\\ L_{\text{logistic}}(y,\hat y)=\log(1+\exp(-y \cdot \hat y))$

$y \cdot \hat y$ $\hat y$ $\beta^Tx$

— Haitao Du
fonte

Eu vejo o que você quer dizer sobre a comparação fácil

— shadowtalker