limiar de cálculo para classificador de risco mínimo?

Suponha que duas classes e tenham um atributo e tenham distribuição e . se tivermos igual anterior para a seguinte matriz de custo: $C_1$ $C_2$ $x$ $\cal{N} (0, 0.5)$ $\cal{N} (1, 0.5)$ $P(C_1)=P(C_2)=0.5$

$L= \begin{bmatrix} 0 & 0.5 \\ 1 & 0 \end{bmatrix}$

por que é o limite para o classificador de risco (custo) mínimo? $x_0 < 0.5$

Este é o meu exemplo de observação que eu entendi errado (por exemplo, como esse limite é atingido?)

Edit 1: Acho que para os limiares da razão de verossimilhança podemos usar P (C1) / P (C2).

Editar 2: adiciono do Duda Book on Pattern algum texto sobre o limiar. insira a descrição da imagem aqui

— user153695
fonte

L = [\begin{matrix} 0 & 0.5 \\ 1 & 0 \end{matrix}] \begin{matrix} c_{1} \\ c_{2} \end{matrix} prediction \begin{matrix} c_{1} & c_{2} \end{matrix} truth

$L= \begin{bmatrix} 0 & 0.5 \\ 1 & 0 \end{bmatrix} \begin{matrix} c_1 \\ c_2 \end{matrix} \;\text{prediction} \\ \hspace{-1.9cm} \begin{matrix} c_1 & c_2 \end{matrix} \\ \hspace{-1.9cm}\text{truth}$

$c_1$ $c_2$ $L_{12} = 0.5$ $c_2$ $c_1$ $L_{21} = 1$ $L_{11} = L_{22} = 0$ $R$ $k$

\begin{aligned} R (c_{1} | x) & = L_{11} Pr (c_{1} | x) + L_{12} Pr (c_{2} | x) = L_{12} Pr (c_{2} | x) \\ R (c_{2} | x) & = L_{22} Pr (c_{2} | x) + L_{21} Pr (c_{1} | x) = L_{21} Pr (c_{1} | x) \end{aligned}

$\begin{align} R(c_1|x) &= L_{11} \Pr (c_1|x) + L_{12} \Pr (c_2|x) = L_{12} \Pr (c_2|x) \\ R(c_2|x) &= L_{22} \Pr (c_2|x) + L_{21} \Pr (c_1|x) = L_{21} \Pr (c_1|x) \end{align}$

Para minimizar o risco / perda, você prevê se o custo do erro ao fazê-lo (que é a perda da previsão incorreta multiplicada pela probabilidade posterior de que a previsão esteja errada ) é menor do que o custo de prever erroneamente a alternativa, $c_1$ $L_{12} \Pr (c_2|x)$

\begin{aligned} L_{12} Pr (c_{2} | x) & < L_{21} Pr (c_{1} | x) \\ L_{12} Pr (x | c_{2}) Pr (c_{2}) & < L_{21} Pr (x | c_{1}) Pr (c_{1}) \\ \frac{L_{12} Pr (c_{2})}{L_{21} Pr (c_{1})} & < \frac{Pr (x | c_{1})}{Pr (x | c_{2})} \end{aligned}

$\begin{align} L_{12} \Pr (c_2|x) &< L_{21} \Pr (c_1|x) \\ L_{12} \Pr (x|c_2) \Pr (c_2) &< L_{21} \Pr (x|c_1) \Pr (c_1) \\ \frac{L_{12} \Pr (c_2)}{L_{21} \Pr (c_1)} &< \frac{\Pr (x|c_1)}{ \Pr (x|c_2)} \end{align}$ onde a segunda linha usa a regra de Bayes . Dadas probabilidades anteriores iguais obtém

Pr (c_{2} | x) \propto Pr (x | c_{2}) Pr (c_{2})

$\Pr (c_2|x) \propto \Pr (x|c_2) \Pr (c_2)$

Pr (c_{1}) = Pr (c_{2}) = 0.5

$\Pr (c_1) = \Pr (c_2) = 0.5$

\frac{1}{2} < \frac{Pr (x | c_{1})}{Pr (x | c_{2})}

$\frac{1}{2} < \frac{\Pr (x|c_1)}{ \Pr (x|c_2)}$

portanto, você escolhe classificar uma observação, pois é a razão de probabilidade que excede esse limite. Agora, não está claro para mim se você deseja conhecer o "melhor limite" em termos de razão de verossimilhança ou em termos do atributo . A resposta muda de acordo com a função de custo. Usando o gaussiano na desigualdade com e , , $c_1$ $x$ $\sigma_1 = \sigma_2 = \sigma$ $\mu_1 = 0$ $\mu_2 = 1$

\begin{aligned} \frac{1}{2} & < \frac{\frac{1}{\sqrt{2 π} σ} \exp [- \frac{1}{2 σ^{2}} (x - μ_{1})^{2}]}{\frac{1}{\sqrt{2 π} σ} \exp [- \frac{1}{2 σ^{2}} (x - μ_{2})^{2}]} \\ \log (\frac{1}{2}) & < \log (\frac{1}{\sqrt{2 π} σ}) - \frac{1}{2 σ^{2}} (x - 0)^{2} - [\log (\frac{1}{\sqrt{2 π} σ}) - \frac{1}{2 σ^{2}} (x - 1)^{2}] \\ \log (\frac{1}{2}) & < - \frac{x^{2}}{2 σ^{2}} + \frac{x^{2}}{2 σ^{2}} - \frac{2 x}{2 σ^{2}} + \frac{1}{2 σ^{2}} \\ \frac{x}{σ^{2}} & < \frac{1}{2 σ^{2}} - \log (\frac{1}{2}) \\ x & < \frac{1}{2} - \log (\frac{1}{2}) σ^{2} \end{aligned}

$\begin{align} \frac{1}{2} &< \frac{\frac{1}{\sqrt{2\pi}\sigma}\exp \left[ -\frac{1}{2\sigma^2}(x-\mu_1)^2 \right]}{\frac{1}{\sqrt{2\pi}\sigma}\exp \left[ -\frac{1}{2\sigma^2}(x-\mu_2)^2 \right]} \\ \log \left(\frac{1}{2}\right) &< \log \left(\frac{1}{\sqrt{2\pi}\sigma}\right) -\frac{1}{2\sigma^2}(x-0)^2 - \left[ \log \left(\frac{1}{\sqrt{2\pi}\sigma}\right) -\frac{1}{2\sigma^2}(x-1)^2 \right] \\ \log \left(\frac{1}{2}\right) &< -\frac{x^2}{2\sigma^2} + \frac{x^2}{2\sigma^2} - \frac{2x}{2\sigma^2} + \frac{1}{2\sigma^2} \\ \frac{x}{\sigma^2} &< \frac{1}{2\sigma^2} - \log \left(\frac{1}{2}\right) \\ x &< \frac{1}{2} - \log \left(\frac{1}{2}\right) \sigma^2 \end{align}$ portanto, um limite de previsão em termos de

x

$x$ pois a pesquisa só pode ser alcançada se as perdas de previsões falsas forem iguais, ou seja, porque somente então você poderá e você obtém o .

L_{12} = L_{21}

$L_{12} = L_{21}$

\log (\frac{L_{12}}{L_{21}}) = \log (1) = 0

$\log \left( \frac{L_{12}}{L_{21}} \right) = \log (1) = 0$

x_{0} < \frac{1}{2}

$x_0 < \frac{1}{2}$

— Andy
fonte

Boa resposta, mas me confundiu! se você quiser escolher ou , qual está correto?

x_{0} = 0.5

$x_0=0.5$

x_{0} < 0.5

$x_0<0.5$

— user153695

Portanto, no limite de decisão você não pode dizer exatamente se uma observação deve estar na classe um ou dois (porque está exatamente no limite). Portanto, escolhendo se a observação deveria estar na classe 1 se ou for com você. Com amostras grandes o suficiente, isso deve ocorrer para pouquíssimas observações; portanto, na margem, será muito importante para o seu resultado.

x_{0} = 0.5

$x_0=0.5$

i

$i$

x_{0} \leq 0.5

$x_0 \leq 0.5$

x_{0} < 0.5

$x_0 < 0.5$

— Andy

todo o meu problema, que recompensa esse prof. calculado e não aceitar , veja minha edição em questão. O limite mínimo deve ser .

x_{0} < 0.5

$x_0<0.5$

x_{0} = 0.5

$x_0=0.5$

x_{0} < 0.5

$x_0<0.5$

— user153695

talvez 0,5-ln :)

— user153695

@ whuber obrigado, eu perdi completamente isso, então comecei de um fim completamente errado.

— Andy