Classificação com aumento de gradiente: como manter a previsão em [0,1]

17

A questão

Estou lutando para entender como a previsão é mantida dentro do intervalo ao fazer a classificação binária com o Gradient Boosting. $[0,1]$

Assumir que estamos a trabalhar sobre um problema de classificação binária, e a função objectiva é a perda de registo, , onde é a variável de destino e é o nosso modelo atual. $-\sum y_i \log(H_m(x_i)) + (1-y_i) \log(1-H_m(x_i))$ $y$ $\in \{0,1\}$ $H$

Ao treinar a próxima fraco aluno tal que o nosso novo modelo é , que é o mecanismo que é suposto para manter ? Ou, talvez uma pergunta mais relevante, exista esse mecanismo? $h_i$ $H_i = H_{i-1} + h_i$ $H_i \in [0,1]$

Mais informações sobre o que estou fazendo

Estou tentando implementar o aumento de gradiente, usando árvores de regressão. O que faço para evitar isso é que uma multiplicação por um fator , de modo que não fique abaixo de zero ou acima de um, e eu seleciono nesse intervalo que minimiza a função de perda. $h_i$ $c \in [0,c_{\text{max}}]$ $H + c_{\text{max}}h$ $c$

Isso traz o seguinte problema: Depois de algumas rodadas, tenho um ponto que está perfeitamente classificado, e a melhor divisão disponível para empurrar o classificador na direção do gradiente quer empurrar esse ponto para cima de um, o que asseguro que não aconteça por configuração . Portanto, toda a próxima iteração selecionará a mesma divisão e o mesmo $c = 0$ . $c = 0$

Eu tentei práticas comuns de regularização

Diminuindo a taxa de aprendizagem multiplicando por $c$ . Isso apenas atrasa o problema. $\mu = 0.01$
Subamostrando o espaço do recurso, mas alguns dos pontos são muito fáceis de classificar, eles marcam quase todas as caixas no campo "isso é positivo?" forma, e quase toda "boa divisão" mostra esse comportamento.

Eu acho que isso não é um problema de parâmetros, e deve haver uma maneira mais sólida de corrigir isso. Não estou descartando a possibilidade de que minha implementação seja interrompida, mas não encontrei nada que resolvesse esse problema.

O que estamos manipulando, no contexto da perda logística, deve ser uma probabilidade; então, como evitamos isso?

Minha intuição seria colocar o modelo que estamos construindo, , em uma função sigmóide tal que seja limitada a , e acho que funcionaria, mas quero saber se existem outras soluções. Como o aumento de gradiente parece ser usado com êxito nas tarefas de classificação, uma solução "correta" (isto é, com justificativa) deve existir. $H$ $[0,1]$

logistic classification boosting

— Winks
fonte

Você pode exigir que

seja multiplicativo, pois

se comporta de maneira aditiva com seus outros especialistas.

H

$H$

\ln (H)

$\ln(H)$

— Alex R.

21

Eu gosto de pensar nisso em analogia com o caso dos modelos lineares e sua extensão aos GLMs (modelos lineares generalizados).

Em um modelo linear, ajustamos uma função linear para prever nossa resposta

\hat{y} = β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}

$\hat y = \beta_0 + \beta_1 x_1 + \cdots \beta_n x_n$

Para generalizar para outras situações, introduzimos uma função de link, que transforma a parte linear do modelo na escala da resposta (tecnicamente, esse é um link inverso, mas acho que é mais fácil pensar dessa maneira, transformando o preditor linear em uma resposta, do que transformar a resposta em um preditor linear).

Por exemplo, o modelo logístico usa a função sigmóide (ou logit)

\hat{y} = \frac{1}{1 + \exp (- (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}))}

$\hat y = \frac{1}{1 + \exp(-(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n))}$

e regressão de Poisson usa uma função exponencial

\hat{y} = \exp (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n})

$\hat y = \exp(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n)$

Para construir uma analogia com o aumento de gradiente, substituímos a parte linear desses modelos pela soma das árvores aumentadas. Assim, por exemplo, o caso gaussiano (análogo à regressão linear) torna-se o bem conhecido

\hat{y} = \sum_{i} h_{i}

$\hat y = \sum_i h_i$

onde é a sequência de alunos fracos. O caso binomial é análogo à regressão logística (como você observou na sua resposta) $h_i$

\hat{y} = \frac{1}{1 + \exp (- \sum_{i} h_{i})}

$\hat y = \frac{1}{1 + \exp\left(-\sum_i h_i\right)}$

e aumento de poisson é análogo à regressão de poisson

\hat{y} = \exp (\sum_{i} h_{i})

$\hat y = \exp\left(\sum_i h_i\right)$

A questão permanece: como alguém se encaixa nesses modelos aprimorados quando a função de link está envolvida? Para o caso gaussiano, onde o link é a função de identidade, o mantra frequentemente ouvido de adequar alunos fracos aos resíduos do atual modelo de trabalho funciona, mas isso não generaliza realmente para os modelos mais complicados. O truque é escrever a função de perda que está sendo minimizada em função da parte linear do modelo (ou seja, o $\sum_i \beta_i x_i$ parte da formulação GLM).

Por exemplo, a perda binomial é geralmente encontrada como

\sum_{i} y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})

$\sum_i y_i \log(p_i) + (1 - y_i)\log(1 - p_i)$

Aqui, a perda é uma função de , os valores previstos na mesma escala que a resposta, e é uma transformação não linear do preditor linear . Em vez disso, podemos re-expressar isso como uma função de (nesse caso, também conhecido como log odds) $p_i$ $p_i$ $L_i$ $L_i$

\sum_{i} y_{i} L_{i} - \log (1 + \exp (L_{i}))

$\sum_i y_i L_i - \log(1 + \exp(L_i))$

Então podemos pegar o gradiente disso em relação a e aumentar para minimizar diretamente essa quantidade. $L$

Somente no final, quando queremos produzir previsões para o usuário, aplicamos a função link à sequência final de alunos fracos para colocar as previsões na mesma escala da resposta. Ao ajustar o modelo, trabalhamos internamente na escala linear o tempo todo.

— Matthew Drury
fonte

2

Concorde com "escreva a função de perda sendo minimizada em função da parte linear do modelo". Mas acho que uma maneira direta de entendê-lo sem derivar as probabilidades do log é: para a parte linear do modelo, ou seja,

, pense na função de perda como

r \in (- \infty, \infty)

$r \in (-\infty, \infty)$

, e o pseudo-residual é apenas para tornar a derivada da perda escrita

.

- \sum_{i} (y_{i} \log \frac{1}{1 + e^{- r}} + (1 - y_{i}) \log (1 - \frac{1}{1 + e^{- r}}))

$- \sum_i \big( y_i \log \frac{1}{1+e^{-r}}+(1-y_i)\log ( 1 - \frac{1}{1+e^{-r}}) \big)$

r

$r$

— User2830451

@ matthew-drury Você pode adicionar alguma luz na seção multinomial da classe K do mesmo algoritmo em que idéias semelhantes são estendidas para trabalhar para isso?

— MixCoded

6

Depois de alguma pesquisa, parece que minha intuição e Alex R. comentam estão certos.

$[0,1]$ $H$ $H \in \mathbb{R}$

\frac{1}{1 + e^{- H}} \in [0, 1]

$\frac{1}{1 + e^{-H}} \in [0,1]$

H

$H$

Isso foi sugerido no artigo Regressão logística aditiva: uma visão estatística de impulsionar , por Friedman, Hastie e Tibshirani, a construir o LogitBoost (Wikipedia) , uma adaptação do AdaBoost (Wikipedia) à perda logística.

Em termos muito básicos, se é possível passar da regressão linear para a regressão logística pela adição de um sigmóide, ele também trabalha para converter o aumento da regressão em aumento da classificação.

— Winks
fonte