Compreendendo a regressão logística e a probabilidade

Como a estimativa de parâmetros / treinamento de regressão logística realmente funciona? Vou tentar colocar o que tenho até agora.

A saída é y a saída da função logística em forma de probabilidade, dependendo do valor de x: $P (y = 1 | x) = \frac{1}{1 + e^{- ω^{T} x}} \equiv σ (ω^{T} x)$ $P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx)$ $P (y = 0 | x) = 1 - P (y = 1 | x) = 1 - \frac{1}{1 + e^{- ω^{T} x}}$ $P(y=0|x)=1-P(y=1|x)=1-{1\over1+e^{-\omega^Tx}}$
Para uma dimensão, as chamadas Odds são definidas da seguinte forma: $\frac{p (y = 1 | x)}{1 - p (y = 1 | x)} = \frac{p (y = 1 | x)}{p (y = 0 | x)} = e^{ω_{0} + ω_{1} x}$ ${{p(y=1|x)}\over{1-p(y=1|x)}}={{p(y=1|x)}\over{p(y=0|x)}}=e^{\omega_0+\omega_1x}$
Agora adicionando a logfunção para obter W_0 e W_1 na forma linear: $L o g i t (y) = l o g (\frac{p (y = 1 | x)}{1 - p (y = 1 | x)}) = ω_{0} + ω_{1} x$ $Logit(y)=log({{p(y=1|x)}\over{1-p(y=1|x)}})=\omega_0+\omega_1x$
Agora, para a parte do problema Usando a probabilidade (X grande é y) $L (X | P) = \prod_{i = 1, y_{i} = 1}^{N} P (x_{i}) \prod_{i = 1, y_{i} = 0}^{N} (1 - P (x_{i}))$ $L(X|P)=\prod^N_{i=1,y_i=1}P(x_i)\prod^N_{i=1,y_i=0}(1-P(x_i))$ Alguém pode dizer por que estamos considerando a probabilidade de y = 1 duas vezes? desde: $P (y = 0 | x) = 1 - P (y = 1 | x)$ $P(y=0|x)=1-P(y=1|x)$

e como obter os valores de ω disso?

regression logistic likelihood

— Motor
fonte

Respostas:

Suponha, em geral, que você decidiu criar um modelo da forma

P (y = 1 | X = x) = h (x; Θ)

$P(y=1|X=x) = h(x;\Theta)$

para algum parâmetro . Então você simplesmente anota a probabilidade disso, ou seja, $\Theta$

L (Θ) = \prod_{i \in {1, . . ., N}, y_{i} = 1} P (y = 1 | x = x; Θ) \cdot \prod_{i \in {1, . . ., N}, y_{i} = 0} P (y = 0 | x = x; Θ)

$L(\Theta) = \prod_{i \in \{1, ..., N\}, y_i = 1} P(y=1|x=x;\Theta) \cdot \prod_{i \in \{1, ..., N\}, y_i = 0} P(y=0|x=x;\Theta)$

que é o mesmo que

L (Θ) = \prod_{i \in {1, . . ., N}, y_{i} = 1} P (y = 1 | x = x; Θ) \cdot \prod_{i \in {1, . . ., N}, y_{i} = 0} (1 - P (y = 1 | x = x; Θ))

$L(\Theta) = \prod_{i \in \{1, ..., N\}, y_i = 1} P(y=1|x=x;\Theta) \cdot \prod_{i \in \{1, ..., N\}, y_i = 0} (1-P(y=1|x=x;\Theta))$

Agora você decidiu 'assumir' (modelo)

P (y = 1 | X = x) = σ (Θ_{0} + Θ_{1} x)

$P(y=1|X=x) = \sigma(\Theta_0 + \Theta_1 x)$

onde

σ (z) = 1 / (1 + e^{- z})

$\sigma(z) = 1/(1+e^{-z})$

então você apenas calcula a fórmula para a probabilidade e algum tipo de algoritmo de otimização para encontrar o , por exemplo, o método newtons ou qualquer outro método baseado em gradiente. $\text{argmax}_\Theta L(\Theta)$

Observe que, às vezes, as pessoas dizem que, quando estão fazendo regressão logística, não maximizam a probabilidade (como fizemos anteriormente), mas minimizam a função de perda

l (Θ) = - \sum_{i = 1}^{N} y_{i} \log (P (Y_{i} = 1 | X = x; Θ)) + (1 - y_{i}) \log (P (Y_{i} = 0 | X = x; Θ))

$l(\Theta) = -\sum_{i=1}^N{y_i\log(P(Y_i=1|X=x;\Theta)) + (1-y_i)\log(P(Y_i=0|X=x;\Theta))}$

mas observe que . $-\log(L(\Theta)) = l(\Theta)$

Esse é um padrão geral no aprendizado de máquina: o lado prático (minimizar as funções de perda que medem o quão 'errado' é um modelo heurístico) é de fato igual ao 'lado teórico' (modelar explicitamente com o símbolo , maximizando quantidades estatísticas como probabilidades) e, de fato, muitos modelos que não parecem probabilísticos (SVMs, por exemplo) podem ser re-entendidos em um contexto probabilístico e, de fato, são maximizações de probabilidades. $P$

— Fabian Werner
fonte

@ Werner obrigado pela sua resposta. Mas eu ainda preciso de um pouco de clarification.1st você pode explicar o que na terra a 2

estadia para na definição de

desde o mais longe que eu entendi Estou interessted no caso de

. e como obter os valores de

muito obrigado pela sua ajuda!

\prod

$\prod$

L (θ)

$L(\theta)$

y_{i} = 1

$y_i =1$

ω_{1}

$\omega_1$

ω_{0}

$\omega_0$

— Motor

@ Engine: O grande 'pi' é um produto ... como um grande Sigma

é uma soma ... você entende ou precisa de mais esclarecimentos sobre isso também? Na segunda pergunta: digamos que queremos minimizar uma função

e começamos com

mas vamos assumir que não sabemos / não podemos expressar / não podemos visualizar

, pois é complicado . Agora, a derivada de

. Curiosamente, se estivermos certos do mínimo

Σ

$\Sigma$

f (x) = x^{2}

$f(x) = x^2$

x = 3

$x=3$

f

$f$

f

$f$

f^{'} = 2 x

$f' = 2x$

x = 0

$x=0$ it points to the right and if we are left of it it points left. Mathematically the derivative points into the direction of the 'strongest ascend'

— Fabian Werner

@Engine: In more dimensions you replace the derivative by the gradient, i.e. you start off at a random point

x_{0}

$x_0$ and compute the gradient

\partial f

$\partial f$ at

x

$x$ and if you want to maximize then your next point

x_{1}

$x_1$ is

x_{1} = x_{0} + \partial f (x_{0})

$x_1 = x_0 + \partial f(x_0)$ . Then you compute

\partial f (x_{1})

$\partial f(x_1)$ and you next

x

$x$ is

x_{2} = x_{1} + \partial f (x_{1})

$x_2 = x_1 + \partial f(x_1)$ and so forth. This is called gradient ascend/descent and is the most common technique in maximizing a function. Now you do that with

L (Θ)

$L(\Theta)$ or in your notation

L (ω)

$L(\omega)$ in order to find the

ω

$\omega$ that maxeimizes

L

$L$

— Fabian Werner

y = 1

$y=1$

ω

$\omega$

ω

$\omega$

y = 1

$y=1$

y = 1

$y=1$ as well as the

y = 0

$y=0$ 'good'!

— Fabian Werner

Your likelihood function (4) consists of two parts: the product of the probability of success for only those people in your sample who experienced a success, and the product of the probability of failure for only those people in your sample who experienced a failure. Given that each individual experiences either a success or a failure, but not both, the probability will appear for each individual only once. That is what the $, y_i=1$ and $,y_i=0$ mean at the bottom of the product signs.

The coefficients are included in the likelihood function by substituting (1) into (4). That way the likelihood function becomes a function of $\omega$ . The point of maximum likelihood is to find the $\omega$ that will maximize the likelihood.

— Maarten Buis
fonte

thanks so much for your answer, sorry but still don't get it. isn't

y_{i} = 0

$y_i = 0$ means the probability that y =0[Don't occure] for all y's of the product. and vis versa for y_i=1. And still after the subtitutiing of how can I find

ω

$\omega$ values, caclulating the 2nd derivative ? or gradient ? thanks a lot for your help !

— Engine

\prod_{i = 1, y = 1}^{N}

$\prod_{i=1, y=1}^N$ should be read as "product for persons

i = 1

$i=1$ till

N

$N$ , but only if

y = 1

$y=1$ . So the first part only applies to those persons in your data that experienced the event. Similarly, the second part only refers to persons who did not experienced the event.

— Maarten Buis

There are many possible algorithms for maximizing the likelihood function. The most common one, the Newton-Raphson method, indeed involves computing the first and second derivatives.

— Maarten Buis