Hessian da função logística

Tenho dificuldade em derivar o Hessiano da função objetivo, , em regressão logística em que é: $l(\theta)$$l(\theta)$

$$l(\theta)=\sum_{i=1}^{m} \left[y_{i} \log(h_\theta(x_{i})) + (1- y_{i}) \log (1 - h_\theta(x_{i}))\right]$$

$h_\theta(x)$ é uma função logística. O hessiano é . Tentei derivá-lo calculando , mas não me era óbvio como chegar à notação matricial de .$X^T D X$$\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$$\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$

Alguém conhece alguma maneira limpa e fácil de derivar ?$X^T D X$

Aqui, deduzo todas as propriedades e identidades necessárias para que a solução seja independente, mas, além disso, essa derivação é limpa e fácil. Vamos formalizar nossa notação e escrever a função de perda um pouco mais compacta. Considere $m$ amostras $\{x_i,y_i\}$ de tal modo que $x_i\in\mathbb{R}^d$ e $y_i\in\mathbb{R}$ . Lembre-se de que, na regressão logística binária, normalmente temos a função de hipótese $h_\theta$ ser a função logística. Formalmente

$$h_\theta(x_i)=\sigma(\omega^Tx_i)=\sigma(z_i)=\frac{1}{1+e^{-z_i}},$$

onde $\omega\in\mathbb{R}^d$ e $z_i=\omega^Tx_i$ . A função de perda (que eu acredito que OPs está faltando um sinal negativo) é então definida como:

$$l(\omega)=\sum_{i=1}^m -\Big( y_i\log\sigma(z_i)+(1-y_i)\log(1-\sigma(z_i))\Big)$$

Existem duas propriedades importantes da função logística que derivam aqui para referência futura. Primeiro, observe que $1-\sigma(z)=1-1/(1+e^{-z})=e^{-z}/(1+e^{-z})=1/(1+e^z)=\sigma(-z)$ .

Observe também que

$$\begin{equation} \begin{aligned} \frac{\partial}{\partial z}\sigma(z)=\frac{\partial}{\partial z}(1+e^{-z})^{-1}=e^{-z}(1+e^{-z})^{-2}&=\frac{1}{1+e^{-z}}\frac{e^{-z}}{1+e^{-z}} =\sigma(z)(1-\sigma(z)) \end{aligned} \end{equation}$$

Em vez de usar derivadas com relação aos componentes, aqui trabalharemos diretamente com vetores (você pode revisar derivadas com vetores aqui ). O Hesse da função perda $l(\omega)$ é dada por $\vec{\nabla}^2l(\omega)$ , mas primeira recolha que $\frac{\partial z}{\partial \omega} = \frac{x^T\omega}{\partial \omega}=x^T$e$\frac{\partial z}{\partial \omega^T}=\frac{\partial \omega^Tx}{\partial \omega ^T} = x$.

Seja $l_i(\omega)=-y_i\log\sigma(z_i)-(1-y_i)\log(1-\sigma(z_i))$ . Usando as propriedades que derivamos acima e a regra da cadeia

$$\begin{equation} \begin{aligned} \frac{\partial \log\sigma(z_i)}{\partial \omega^T} &= \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial \omega^T} = \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial z_i}\frac{\partial z_i}{\partial \omega^T}=(1-\sigma(z_i))x_i\\ \frac{\partial \log(1-\sigma(z_i))}{\partial \omega^T}&= \frac{1}{1-\sigma(z_i)}\frac{\partial(1-\sigma(z_i))}{\partial \omega^T} =-\sigma(z_i)x_i \end{aligned} \end{equation}$$

Agora é trivial mostrar que

$$\vec{\nabla}l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega^T} =-y_ix_i(1-\sigma(z_i))+(1-y_i)x_i\sigma(z_i)=x_i(\sigma(z_i)-y_i)$$

uau!

Nosso último passo é calcular o hessiano

$$\vec{\nabla}^2l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega\partial \omega^T}=x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$$

Para $m$ amostras temos $\vec{\nabla}^2l(\omega)=\sum_{i=1}^m x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$ . Isso é equivalente à concatenação de vetores de colunas $x_i\in\mathbb{R}^d$ em uma matriz $X$ de tamanho $d\times m$ tal que $\sum_{i=1}^m x_ix_i^T=XX^T$ . Os termos escalares são combinados em uma matriz diagonal$D$ de tal forma que$D_{ii}=\sigma(z_i)(1-\sigma(z_i))$ . Finalmente, concluímos que

$$\vec{H}(\omega)=\vec{\nabla}^2l(\omega)=XDX^T$$

Uma abordagem mais rápida pode ser obtida considerando todas as amostras de uma só vez desde o início e, em vez disso, trabalhe com derivadas da matriz. Como uma observação extra, com esta formulação é trivial mostrar que $l(\omega)$ é convexo. Deixe $\delta$ ser qualquer vector de modo a que $\delta\in\mathbb{R}^d$ . Então

$$\delta^T\vec{H}(\omega)\delta = \delta^T\vec{\nabla}^2l(\omega)\delta = \delta^TXDX^T\delta = \delta^TXD(\delta^TX)^T = \|\delta^TDX\|^2\geq 0$$

$D>0$$\|\delta^TX\|\geq 0$$H$$l$