Por que o método de Newton para otimização da regressão logística é chamado de mínimos quadrados re-ponderados iterativos?

Não me parece claro porque a perda logística e a perda de mínimos quadrados são coisas completamente diferentes.

— Haitao Du
fonte

Eu não acho que eles são iguais. O IRLS é Newton-Raphson com o Hessian esperado, em vez do Hessian observado.

— Dimitriy V. Masterov

@ DimitriyV.Masterov obrigado, você poderia me dizer mais sobre o esperado Hessian vs Observed? Além disso, o que você acha dessa explicação #

— Haitao Du

Consulte também stats.stackexchange.com/questions/236676/…

— kjetil b halvorsen

Resumo: GLMs são adequados através da pontuação de Fisher , que, como Dimitriy V. Masterov observa, é Newton-Raphson com o Hessian esperado (em vez disso, usamos uma estimativa das informações de Fisher em vez das informações observadas). Se estivermos usando a função de ligação canônica, verifica-se que o Hessian observado é igual ao Hessian esperado, portanto a pontuação NR e Fisher são as mesmas nesse caso. De qualquer forma, veremos que a pontuação de Fisher está realmente ajustando um modelo linear de mínimos quadrados ponderados, e as estimativas de coeficiente desse valor convergem * no máximo da probabilidade de regressão logística. Além de reduzir o ajuste de uma regressão logística a um problema já resolvido, também obtemos o benefício de poder usar diagnósticos de regressão linear no ajuste final do WLS para aprender sobre nossa regressão logística.

Vou manter isso focado na regressão logística, mas para uma perspectiva mais geral sobre a probabilidade máxima nos GLMs, recomendo a seção 15.3 deste capítulo, que passa por isso e deriva o IRLS em um cenário mais geral (acho que é de John Fox, Applied Análise de regressão e modelos lineares generalizados ).

$^*$ ver comentários no final

A função de probabilidade e pontuação

Ajustaremos nosso GLM iterando algo da forma onde é a probabilidade do log e será o Hessiano observado ou esperado da probabilidade do log.

b^{(m + 1)} = b^{(m)} - J_{(m)}^{- 1} \nabla ℓ (b^{(m)})

$b^{(m+1)} = b^{(m)} - J^{-1}_{(m)}\nabla \ell(b^{(m)})$

ℓ

$\ell$

J_{m}

$J_{m}$

Nossa função de link é uma função que mapeia a média condicional para nosso preditor linear; portanto, nosso modelo para a média é . Seja a função de link inverso que mapeia o preditor linear para a média. $g$ $\mu_i = E(y_i | x_i)$ $g(\mu_i) = x_i^T\beta$ $h$

Para uma regressão logística, temos uma probabilidade de Bernoulli com observações independentes so Tomando derivadas,

ℓ (b; y) = \sum_{i = 1}^{n} y_{i} \log h (x_{i}^{T} b) + (1 - y_{i}) \log (1 - h (x_{i}^{T} b)) .

$\ell(b; y) = \sum_{i=1}^n y_i\log h(x_i^T b) + (1 - y_i) \log(1 - h(x_i^Tb)).$

\frac{\partial ℓ}{\partial b_{j}} = \sum_{i = 1}^{n} \frac{y_{i}}{h (x_{i}^{T} b)} h^{'} (x_{i}^{T} b) x_{i j} - \frac{1 - y_{i}}{1 - h (x_{i}^{T} b)} h^{'} (x_{i}^{T} b) x_{i j}

$\frac{\partial \ell}{\partial b_j} = \sum_{i=1}^n \frac{y_i}{h(x_i^T b)} h'(x_i^T b) x_{ij} - \frac{1 - y_i}{1 - h(x_i^T b)} h'(x_i^T b) x_{ij}$

= \sum_{i = 1}^{n} x_{i j} h^{'} (x_{i}^{T} b) (\frac{y_{i}}{h (x_{i}^{T} b)} - \frac{1 - y_{i}}{1 - h (x_{i}^{T} b)})

$= \sum_{i=1}^n x_{ij} h'(x_i^T b) \left(\frac{y_i}{h(x_i^T b)} - \frac{1 - y_i}{1 - h(x_i^T b)} \right)$

= \sum_{i} x_{i j} \frac{h^{'} (x_{i}^{T} b)}{h (x_{i}^{T} b) (1 - h (x_{i}^{T} b))} (y_{i} - h (x_{i}^{T} b)) .

$= \sum_i x_{ij} \frac{h'(x_i^T b)}{h(x_i^T b)(1 - h(x_i^T b))}(y_i - h(x_i^T b)).$

Usando o link canônico

Agora vamos supor que estamos usando a função de link canônico . Então para que que significa que isso simplifica tão Além disso, ainda usando , $g_c = \text{logit}$ $g^{-1}_c(x) := h_c(x) = \frac{1}{1+e^{-x}}$ $h_c' = h_c \cdot (1-h_c)$

\frac{\partial ℓ}{\partial b_{j}} = \sum_{i} x_{i j} (y_{i} - h_{c} (x_{i}^{T} b))

$\frac{\partial \ell}{\partial b_j} = \sum_i x_{ij} (y_i - h_c(x_i^T b))$

\nabla ℓ (b; y) = X^{T} (y - \hat{y}) .

$\nabla \ell (b; y) = X^T (y - \hat y).$

h_{c}

$h_c$

\frac{\partial^{2} ℓ}{\partial b_{k} \partial b_{j}} = - \sum_{i} x_{i j} \frac{\partial}{\partial b_{k}} h_{c} (x_{i}^{T} b) = - \sum_{i} x_{i j} x_{i k} [h_{c} (x_{i}^{T} b) (1 - h_{c} (x_{i}^{T} b))] .

$\frac{\partial^2 \ell}{\partial b_k \partial b_j} = - \sum_i x_{ij} \frac{\partial}{\partial b_k} h_c(x_i^T b) = - \sum_i x_{ij}x_{ik} \left[h_c(x_i^T b) (1 - h_c(x_i^T b))\right].$

Seja Então temos e observamos como isso não tem mais , então (estamos vendo isso como uma função de portanto a única coisa aleatória é ) . Assim, mostramos que a pontuação de Fisher é equivalente a Newton-Raphson quando usamos o link canônico na regressão logística. Também em virtude de sempre será estritamente negativo definido, embora numericamente se chegar muito perto de

W = diag (h_{c} (x_{1}^{T} b) (1 - h_{c} (x_{1}^{T} b)), \dots, h_{c} (x_{n}^{T} b) (1 - h_{c} (x_{n}^{T} b))) = diag ({\hat{y}}_{1} (1 - {\hat{y}}_{1}), \dots, {\hat{y}}_{n} (1 - {\hat{y}}_{n})) .

$W = \text{diag}\left(h_c(x_1^T b)(1 - h_c(x_1^T b)), \dots, h_c(x_n^T b)(1 - h_c(x_n^T b))\right) = \text{diag}\left(\hat y_1(1 - \hat y_1), \dots, \hat y_n (1 - \hat y_n)\right).$

H = - X^{T} W X

$H = -X^TWX$

y_{i}

$y_i$

E (H) = H

$E(H) = H$

b

$b$

y

$y$

{\hat{y}}_{i} \in (0, 1)

$\hat y_i \in (0,1)$

- X^{T} W X

$-X^TWX$

{\hat{y}}_{i}

$\hat y_i$

0

$0$ ou , podemos ter pesos redondos a que pode tornar negativo semidefinido e, portanto, computacionalmente singular.

1

$1$

0

$0$

H

$H$

Agora crie a resposta de trabalho e observe que $z = W^{-1}(y - \hat y)$

\nabla ℓ = X^{T} (y - \hat{y}) = X^{T} W z .

$\nabla \ell = X^T(y - \hat y) = X^T W z.$

No conjunto, isso significa que podemos otimizar a probabilidade do log iterando e é exatamente para uma mínimos quadrados ponderados regressão de em .

b^{(m + 1)} = b^{(m)} + (X^{T} W_{(m)} X)^{- 1} X^{T} W_{(m)} z_{(m)}

$b^{(m+1)} = b^{(m)} + (X^T W_{(m)} X)^{-1}X^T W_{(m)} z_{(m)}$

(X^{T} W_{(m)} X)^{- 1} X^{T} W_{(m)} z_{(m)}

$(X^T W_{(m)} X)^{-1}X^T W_{(m)} z_{(m)}$

\hat{β}

$\hat \beta$

z_{(m)}

$z_{(m)}$

X

$X$

Verificando isso em R:

set.seed(123)
p <- 5
n <- 500
x <- matrix(rnorm(n * p), n, p)
betas <- runif(p, -2, 2)
hc <- function(x) 1 /(1 + exp(-x)) # inverse canonical link
p.true <- hc(x %*% betas)
y <- rbinom(n, 1, p.true)

# fitting with our procedure
my_IRLS_canonical <- function(x, y, b.init, hc, tol=1e-8) {
  change <- Inf
  b.old <- b.init
  while(change > tol) {
    eta <- x %*% b.old  # linear predictor
    y.hat <- hc(eta)
    h.prime_eta <- y.hat * (1 - y.hat)
    z <- (y - y.hat) / h.prime_eta

    b.new <- b.old + lm(z ~ x - 1, weights = h.prime_eta)$coef  # WLS regression
    change <- sqrt(sum((b.new - b.old)^2))
    b.old <- b.new
  }
  b.new
}

my_IRLS_canonical(x, y, rep(1,p), hc)
# x1         x2         x3         x4         x5 
# -1.1149687  2.1897992  1.0271298  0.8702975 -1.2074851

glm(y ~ x - 1, family=binomial())$coef
# x1         x2         x3         x4         x5 
# -1.1149687  2.1897992  1.0271298  0.8702975 -1.2074851

e eles concordam.

Funções de link não canônico

Agora, se não estamos usando o link canônico, não obtemos a simplificação de in para que se torne muito mais complicado e, portanto, vemos uma diferença notável usando em nossa pontuação de Fisher. $\frac{h'}{h(1-h)} = 1$ $\nabla \ell$ $H$ $E(H)$

Aqui está como vai ser: já elaboramos o modo que o Hessian será a principal dificuldade. Precisamos de $\nabla \ell$

\frac{\partial^{2} ℓ}{\partial b_{k} \partial b_{j}} = \sum_{i} x_{i j} \frac{\partial}{\partial b_{k}} h^{'} (x_{i}^{T} b) (\frac{y_{i}}{h (x_{i}^{T} b)} - \frac{1 - y_{i}}{1 - h (x_{i}^{T} b)})

$\frac{\partial^2 \ell}{\partial b_k \partial b_j} = \sum_i x_{ij} \frac{\partial}{\partial b_k}h'(x_i^T b) \left(\frac{y_i}{h(x_i^T b)} - \frac{1 - y_i}{1 - h(x_i^T b)} \right)$

= \sum_{i} x_{i j} x_{i k} [h^{″} (x_{i}^{T} b) (\frac{y_{i}}{h (x_{i}^{T} b)} - \frac{1 - y_{i}}{1 - h (x_{i}^{T} b)}) - h^{'} (x_{i}^{T} b)^{2} (\frac{y_{i}}{h (x_{i}^{T} b)^{2}} + \frac{1 - y_{i}}{(1 - h (x_{i}^{T} b))^{2}})]

$= \sum_i x_{ij}x_{ik} \left[h''(x_i^T b) \left(\frac{y_i}{h(x_i^T b)} - \frac{1 - y_i}{1 - h(x_i^T b)} \right) - h'(x_i^T b)^2\left(\frac{y_i}{h(x_i^T b)^2} + \frac{1-y_i}{(1-h(x_i^T b))^2} \right)\right]$

Através da linearidade da expectativa, tudo o que precisamos fazer para obter é substituir cada ocorrência de por sua média no modelo, que é . Cada termo no somatório conterá, portanto, um fator da forma Mas para realmente fazer nossa otimização, precisamos estimar cada , e na etapa é o melhor palpite que temos. Isso significa que isso reduzirá a $E(H)$ $y_i$ $\mu_i=h(x_i^T\beta)$

h^{″} (x_{i}^{T} b) (\frac{h (x_{i}^{T} β)}{h (x_{i}^{T} b)} - \frac{1 - h (x_{i}^{T} β)}{1 - h (x_{i}^{T} b)}) - h^{'} (x_{i}^{T} b)^{2} (\frac{h (x_{i}^{T} β)}{h (x_{i}^{T} b)^{2}} + \frac{1 - h (x_{i}^{T} β)}{(1 - h (x_{i}^{T} b))^{2}}) .

$h''(x_i^T b) \left(\frac{h(x_i^T \beta)}{h(x_i^T b)} - \frac{1 - h(x_i^T \beta)}{1 - h(x_i^T b)} \right) - h'(x_i^T b)^2\left(\frac{h(x_i^T \beta)}{h(x_i^T b)^2} + \frac{1-h(x_i^T \beta)}{(1-h(x_i^T b))^2} \right).$

β

$\beta$

m

$m$

b^{(m)}

$b^{(m)}$

h^{″} (x_{Eu}^{T} b) (\frac{h (x_{Eu}^{T} b)}{h (x_{Eu}^{T} b)} - \frac{1 - h (x_{Eu}^{T} b)}{1 - h (x_{Eu}^{T} b)}) - h^{'} (x_{Eu}^{T} b)^{2} (\frac{h (x_{Eu}^{T} b)}{h (x_{Eu}^{T} b)^{2}} + \frac{1 - h (x_{Eu}^{T} b)}{(1 - h (x_{Eu}^{T} b))^{2}})

$h''(x_i^T b) \left(\frac{h(x_i^T b)}{h(x_i^T b)} - \frac{1 - h(x_i^T b)}{1 - h(x_i^T b)} \right) - h'(x_i^T b)^2\left(\frac{h(x_i^T b)}{h(x_i^T b)^2} + \frac{1-h(x_i^T b)}{(1-h(x_i^T b))^2} \right)$

= - h^{'} (x_{Eu}^{T} b)^{2} (\frac{1}{h (x_{Eu}^{T} b)} + \frac{1}{1 - h (x_{Eu}^{T} b)})

$= - h'(x_i^T b)^2\left(\frac{1}{h(x_i^T b)} + \frac{1}{1-h(x_i^T b)} \right)$

= - \frac{h^{'} (x_{Eu}^{T} b)^{2}}{h (x_{Eu}^{T} b) (1 - h (x_{Eu}^{T} b))} .

$= -\frac{h'(x_i^T b)^2}{h(x_i^T b)(1-h(x_i^T b))}.$ Isso significa que usaremos com

J

$J$

J_{j k} = - \sum_{Eu} x_{Eu j} x_{Eu k} \frac{h^{'} (x_{Eu}^{T} b)^{2}}{h (x_{Eu}^{T} b) (1 - h (x_{Eu}^{T} b))} .

$J_{jk} = -\sum_i x_{ij}x_{ik} \frac{h'(x_i^T b)^2}{h(x_i^T b)(1-h(x_i^T b))}.$

Agora, deixe e observe como no link canônico reduz para da seção anterior. Isso nos permite escrever exceto que agora é vez de ser necessariamente o próprio , portanto, isso pode diferir de Newton-Raphson. Para todos os portanto, além das questões numéricas, será definido como negativo.

W^{*} = diag (\frac{h^{'} (x_{1}^{T} b)^{2}}{h (x_{1}^{T} b) (1 - h (x_{1}^{T} b))}, ..., \frac{h^{'} (x_{n}^{T} b)^{2}}{h (x_{n}^{T} b) (1 - h (x_{n}^{T} b))})

$W^* = \text{diag}\left(\frac{h'(x_1^T b)^2}{h(x_1^T b)(1-h(x_1^T b))} ,\dots, \frac{h'(x_n^T b)^2}{h(x_n^T b)(1-h(x_n^T b))}\right)$

h_{c}^{'} = h_{c} \cdot (1 - h_{c})

$h_c' = h_c \cdot (1-h_c)$

W^{*}

$W^*$

W

$W$

J = - X^{T} W^{*} X

$J = -X^TW^*X$

\hat{E} (H)

$\hat E(H)$

H

$H$

i

$i$

W_{i i}^{*} > 0

$W_{ii}^* > 0$

J

$J$

Temos permitindo que nossa nova resposta de trabalho seja com , temos .

\frac{\partial ℓ}{\partial b_{j}} = \sum_{Eu} x_{Eu j} \frac{h^{'} (x_{Eu}^{T} b)}{h (x_{Eu}^{T} b) (1 - h (x_{Eu}^{T} b))} (y_{Eu} - h (x_{Eu}^{T} b))

$\frac{\partial \ell}{\partial b_j} = \sum_i x_{ij} \frac{h'(x_i^T b)}{h(x_i^T b)(1 - h(x_i^T b))}(y_i - h(x_i^T b))$

z^{*} = D^{- 1} (y - \hat{y})

$z^* = D^{-1}(y-\hat y)$

D = diag (h^{'} (x_{1}^{T} b), \dots, h^{'} (x_{n}^{T} b))

$D=\text{diag}\left(h'(x_1^T b), \dots, h'(x_n^T b)\right)$

\nabla ℓ = X^{T} W^{*} z^{*}

$\nabla \ell = X^TW^*z^*$

Todos juntos estamos iterando portanto, essa ainda é uma sequência de regressões WLS, exceto que agora não é necessariamente Newton-Raphson.

b^{(m + 1)} = b^{(m)} + (X^{T} W_{(m)}^{*} X)^{- 1} X^{T} W_{(m)}^{*} z_{(m)}^{*}

$b^{(m+1)} = b^{(m)} + (X^T W_{(m)}^* X)^{-1}X^T W_{(m)}^* z_{(m)}^*$

Eu escrevi desta maneira para enfatizar a conexão com Newton-Raphson, mas frequentemente as pessoas fatoram as atualizações para que cada novo ponto seja a solução WLS, em vez de uma solução WLS adicionada até o ponto atual . Se quisermos fazer isso, podemos fazer o seguinte: portanto, se continuarmos assim, você verá a resposta de trabalho assuma a forma , mas é a mesma coisa. $b^{(m+1)}$ $b^{(m)}$

b^{(m + 1)} = b^{(m)} + (X^{T} W_{(m)}^{*} X)^{- 1} X^{T} W_{(m)}^{*} z_{(m)}^{*}

$b^{(m+1)} = b^{(m)} + (X^T W_{(m)}^* X)^{-1}X^T W_{(m)}^* z_{(m)}^*$

= (X^{T} W_{(m)}^{*} X)^{- 1} (X^{T} W_{(m)}^{*} X b^{(m)} + X^{T} W_{(m)}^{*} z_{(m)}^{*})

$= (X^T W_{(m)}^* X)^{-1}\left(X^T W_{(m)}^* Xb^{(m)}+ X^TW^*_{(m)}z_{(m)}^* \right)$

= (X^{T} W_{(m)}^{*} X)^{- 1} X^{T} W_{(m)}^{*} (X b^{(m)} + z_{(m)}^{*})

$= (X^T W_{(m)}^* X)^{-1}X^TW_{(m)}^*\left(Xb^{(m)}+ z_{(m)}^* \right)$

η^{(m)} + D_{(m)}^{- 1} (y - {\hat{y}}^{(m)})

$\eta^{(m)} + D^{-1}_{(m)}(y - \hat y^{(m)})$

Vamos confirmar que isso funciona usando-o para executar uma regressão probit nos mesmos dados simulados de antes (e esse não é o link canônico, por isso precisamos dessa forma mais geral de IRLS).

my_IRLS_general <- function(x, y, b.init, h, h.prime, tol=1e-8) {
  change <- Inf
  b.old <- b.init
  while(change > tol) {
    eta <- x %*% b.old  # linear predictor
    y.hat <- h(eta)
    h.prime_eta <- h.prime(eta)
    w_star <- h.prime_eta^2 / (y.hat * (1 - y.hat))
    z_star <- (y - y.hat) / h.prime_eta

    b.new <- b.old + lm(z_star ~ x - 1, weights = w_star)$coef  # WLS

    change <- sqrt(sum((b.new - b.old)^2))
    b.old <- b.new
  }
  b.new
}

# probit inverse link and derivative
h_probit <- function(x) pnorm(x, 0, 1)
h.prime_probit <- function(x) dnorm(x, 0, 1)

my_IRLS_general(x, y, rep(0,p), h_probit, h.prime_probit)
# x1         x2         x3         x4         x5 
# -0.6456508  1.2520266  0.5820856  0.4982678 -0.6768585 

glm(y~x-1, family=binomial(link="probit"))$coef
# x1         x2         x3         x4         x5 
# -0.6456490  1.2520241  0.5820835  0.4982663 -0.6768581

e novamente os dois concordam.

Comentários sobre convergência

Por fim, alguns comentários rápidos sobre convergência (vou ser breve, pois isso está ficando muito longo e não sou especialista em otimização). Embora, teoricamente, cada seja definido negativamente, más condições iniciais ainda podem impedir a convergência desse algoritmo. No exemplo probit acima, alterar as condições iniciais para resulta nisso, e isso nem parece uma condição inicial suspeita. Se você percorrer o procedimento IRLS com essa inicialização e esses dados simulados, pela segunda vez no loop, há alguns que arredondam para exatamente e os pesos se tornam indefinidos. Se estivermos usando o link canônico no algoritmo que forneci, nunca estaremos dividindo por $J_{(m)}$ b.init=rep(1,p) $\hat y_i$ $1$ $\hat y_i (1 - \hat y_i)$ para obter pesos indefinidos, mas se tivermos uma situação em que alguns estão se aproximando de ou , como no caso de separação perfeita, ainda obteremos não convergência, pois o gradiente morre sem que alcancemos nada . $\hat y_i$ $0$ $1$

— jld
fonte

+1. Eu amo o quão detalhadas são suas respostas.

— Ameba diz Reinstate Monica

Você declarou que "as estimativas do coeficiente disso convergem no máximo da probabilidade de regressão logística". É necessariamente assim, a partir de quaisquer valores iniciais?

— Mark L. Stone

@ MarkL.Stone ah eu estava sendo muito casual lá, não tive a intenção de ofender as pessoas otimização :) Vou acrescentar mais alguns detalhes (e gostaria de receber seus pensamentos sobre eles quando eu faço)

— JLD

alguma chance que você assistiu o link que eu postei? Parece que o vídeo está falando da perspectiva do aprendizado de máquina, apenas otimiza a perda logística, sem falar da expectativa de Hessain?

— Haitao Du

@ hxd1011 naquele pdf ao qual vinculei (link novamente: sagepub.com/sites/default/files/upm-binaries/… ) na página 24, o autor analisa a teoria e explica o que exatamente faz com que um link funcione canonicamente. Achei o pdf extremamente útil quando me deparei com isso (embora demorei um tempo para concluir).

— JLD