Por que a regressão logística é um modelo linear?

24

Quero saber por que a regressão logística é chamada de modelo linear. Ele usa uma função sigmóide, que não é linear. Então, por que a regressão logística é um modelo linear?

regression logistic terminology

— user34790
fonte

6

O logit de

(o log das probabilidades) é linear nos parâmetros, mas as pessoas não se referem à regressão logística tão linear quanto eu sei. Você pode citar quem disse isso?

π

$\pi$

— gung - Reintegrar Monica

@ gung-ReinstateMonica Por exemplo, no livro Deep Learning na página 169 ( deeplearningbook.org/contents/mlp.html ). No livro, eles observam que "modelos lineares, como regressão logística e regressão linear, são atraentes ..." Acho que eles queriam dizer Modelo Linear Generalizado para regressão logística.

— JOVEM

33

O modelo de regressão logística tem a forma É chamado demodelo lineargeneralizadonão porque a probabilidade estimada do evento de resposta seja linear, mas porque o logit da resposta de probabilidade estimada é uma função linear dosparâmetros~~preditores~~.

l o g i t (p_{i}) = l n (\frac{p_{i}}{1 - p_{i}}) = β_{0} + β_{1} x_{1, i} + β_{2} x_{2, i} + \dots + β_{p} x_{p, i} .

$\mathrm{logit}(p_i) = \mathrm{ln}\left(\frac{p_i}{1-p_i}\right) = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \cdots + \beta_p x_{p,i}.$

Mais geralmente, o Modelo Linear Generalizado tem a forma que é o valor esperado de a resposta dada às covariáveis.

g (μ_{i}) = β_{0} + β_{1} x_{1, i} + β_{2} x_{2, i} + \dots + β_{p} x_{p, i},

$\mathrm{g}(\mu_i) = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + \cdots + \beta_p x_{p,i},$

μ

$\mu$

Edit: Obrigado whuber pela correção.

— P Schnell
fonte

7

Se você escrever "linear generalizado" em vez de "linear" e parâmetros em vez de preditores, isso estaria correto. (Muitos modelos de regressão logística são não linear nos preditores Por exemplo, nenhuma regressão logística com um termo de interação será linear nas prdictors..)

— whuber

Você está correto, obrigado. Atualizei minha resposta para refletir isso.

— P: Schnell 03/03

o que Pi está aí?

— Aerin

7

A regressão logística usa a equação linear geral $Y=b_0+∑(b_i X_i)+\epsilon$ . Em regressão linear $Y$ é uma variável dependente contínua, mas na regressão logística está regredindo para a probabilidade de um resultado categórico (por exemplo, 0 e 1).

A probabilidade de $Y=1$ é:

P (Y = 1) = \frac{1}{1 + e^{- (b_{0 0} + \sum (b_{Eu} X_{Eu}))}}

$P(Y=1) = {1 \over 1+e^{-(b_0+\sum{(b_iX_i)})}}$

— lennon310
fonte

7

Linear significa linear em betas (os coeficientes), mas não em x (as variáveis independentes); portanto, desde que seus betas não sejam não lineares, seu modelo é linear.

— Yilun Zhang
fonte

3

Isso é verdade - mas de regressão logística, infelizmente, é uma generalização do modelo linear e é não linear nos parâmetros.

— whuber