Regressão logística para multiclasse

Eu tenho o modelo para a regressão logística para multiclasse, que é dada por

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^TX^{(i)})}{1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})}$

onde k é o número de classes teta é o parâmetro a ser estimado j é a j-ésima classe Xi são os dados de treinamento

Bem, uma coisa que não entendi é como a parte do denominador normalizou o modelo. Quero dizer, faz com que a probabilidade fique entre 0 e 1.

1 + \sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})

$1+ \sum_{m=1}^{k}\exp(\theta_m^T X^{(i)})$

Quero dizer, estou acostumado a regressão logística sendo

P (Y = 1 | X^{(i)}) = 1 / (1 + \exp (- θ^{T} X^{(i)}))

$P(Y=1|X^{(i)}) = 1/ (1 + \exp(-\theta^T X^{(i)}))$

Na verdade, estou confuso com a coisa da nomalização. Nesse caso, como é uma função sigmóide, nunca permite que o valor seja menor que 0 ou maior que 1. Mas estou confuso no caso de várias classes. Por que é tão?

Esta é a minha referência https://list.scms.waikato.ac.nz/pipermail/wekalist/2005-February/029738.html . Eu acho que deveria estar normalizando

P (Y = j | X^{(i)}) = \frac{\exp (θ_{j}^{T} X^{(i)})}{\sum_{m = 1}^{k} \exp (θ_{m}^{T} X^{(i)})}

$P(Y=j|X^{(i)}) = \frac{\exp(\theta_j^T X^{(i)})}{\sum_{m=1}^{k} \exp(\theta_m^T X^{(i)})}$

logistic multinomial

— user34790
fonte

Dica: Na regressão logística, existem implicitamente duas probabilidades para lidar: a probabilidade e a probabilidade . Essas probabilidades devem somar .

Y = 1

$Y=1$

Y = 0

$Y=0$

1

$1$

— whuber

Com base em algumas de suas outras postagens, você sabe como marcar equações. As equações de texto aqui são difíceis de ler e os (subscritos?) São confusos - você pode marcá-las com ?

L A T E X

$\LaTeX$

— Macro

Como você está postando tantas perguntas aqui, faça uma pausa e leia nossas Perguntas frequentes sobre como fazer boas perguntas. Leia a ajuda da marcação para tornar suas equações legíveis.

T E X

$\TeX$

— whuber

Editei a equação. @ Whuber Na verdade, estou confuso com relação à regressão logística multiclasse e não à binária. Estou preocupado como é que quando eu adicionar todos os elementos na donominator normalizados a probabilidade

— user34790

@ user34790, quando você divide cada termo pela soma, as probabilidades de classes individuais somam 1. O que é , a propósito?

X^{(i)}

$X^{(i)}$

— Macro

Respostas:

Sua fórmula está incorreta (o limite superior da soma). Na regressão logística com classes ( ), você basicamente cria modelos de regressão logística binária onde você escolhe uma classe como referência ou pivô. Normalmente, a última classe é selecionada como referência. Assim, a probabilidade da classe de referência pode ser calculada porA forma geral da probabilidade éComo a classe é a sua referência e, portanto, $K$ $K> 2$ $K-1$ $K$

P (y_{i} = K | x_{i}) = 1 - \sum_{k = 1}^{K - 1} P (y_{i} = k | x_{i}) .

$P(y_i = K | x_i) = 1 - \sum_{k=1}^{K-1} P(y_i = k | x_i) .$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i})} .

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{\sum_{i=1}^K \exp(\theta_i^T x_i)} .$

K

$K$

θ_{K} = (0, \dots, 0)^{T}

$\theta_K = (0, \ldots, 0)^T$

\sum_{i = 1}^{K} \exp (θ_{i}^{T} x_{i}) = \exp (0) + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) = 1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i}) .

$\sum_{i=1}^K \exp(\theta_i^T x_i) = \exp(0) + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) = 1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i) .$ No final, você obtém a seguinte fórmula para todos os :

k < K

$k < K$

P (y_{i} = k | x_{i}) = \frac{\exp (θ_{i}^{T} x_{i})}{1 + \sum_{i = 1}^{K - 1} \exp (θ_{i}^{T} x_{i})}

$P(y_i = k | x_i) = \frac{\exp(\theta_i^T x_i)}{1 + \sum_{i=1}^{K-1} \exp(\theta_i^T x_i)}$

— sebp
fonte

observe que a escolha da classe de referência não é importante, se você estiver obtendo a máxima probabilidade. Porém, se você está fazendo a máxima verossimilhança penalizada ou inferência bayesiana, pode ser mais útil deixar as probabilidades super parametrizadas e deixar que a penalidade escolha uma maneira de lidar com a super parametrização. Isso ocorre porque a maioria das funções de penalidade / priores não são invariantes em relação à escolha de classe de referência

— probabilityislogic

@ SEPP, parece que é um pouco confuso; seria melhor usar para observação e alguma outra letra para iteração de categoria .

i

$i$

i

$i$

k

$k$

— garej 7/07

Acho que você está sendo confundido por um erro de digitação: seu deve ser na primeira equação. Os 1s que você vê no caso logístico são na verdade s, por exemplo, quando existe um th . $k$ $k-1$ $\exp(0)$ $k$ $\theta=0$

Suponha que . Agora observe que você pode ir da última formulação à versão de regressão logística como Para várias classes, basta substituir o denominador nas duas primeiras quantidades por uma soma sobre os preditores lineares exponenciados. $\theta_1 X=b$

\frac{\exp (b)}{\exp (0 0) + \exp (b)} = \frac{\exp (0 0)}{\exp (0 0) + \exp (- b)} = \frac{1 1}{1 1 + \exp (- b)}

$\frac{\exp(b)}{\exp(0)+\exp(b)} = \frac{\exp(0)}{\exp(0)+\exp(-b)} = \frac{1}{1+\exp(-b)}$

— conjugado
fonte