Como o Naive Bayes é um classificador linear?

31

Eu já vi o outro tópico aqui, mas não acho que a resposta tenha satisfeito a pergunta real. O que eu tenho lido continuamente é que Naive Bayes é um classificador linear (por exemplo: aqui ) (de modo que traça um limite de decisão linear) usando a demonstração de log odds.

No entanto, simulei duas nuvens gaussianas e ajustei um limite de decisão e obtive os resultados como tal (biblioteca e1071 em r, usando naiveBayes ()) 1- Verde, 0 - Vermelho

Como podemos ver, o limite de decisão é não linear. Ele está tentando dizer que os parâmetros (probabilidades condicionais) são uma combinação linear no espaço de log, em vez de dizer que o próprio classificador separa os dados linearmente?

classification naive-bayes

— Kevin Pei
fonte

como você criou o limite de decisão? Suspeito que isso tenha a ver com a sua rotina adequada e não com o verdadeiro limite de decisão do classificador. normalmente alguém geraria um limite de decisão calculando a decisão em cada ponto do seu quadrante.

— seanv507

Foi o que fiz, peguei os dois intervalos de X = [Min (x), Max (x)] e Y = [Min (Y), Max (Y)] com um espaçamento de 0,1. I então equipado todos os pontos de dados com o classificador e treinados encontrados pontos de modo a que as probabilidades logarítmicas estavam entre -0,05 e 0,05

— Kevin Pei

30

$p(x_i \mid c)$

Você pode escrever qualquer classificador ingênuo de Bayes como *

p (c = 1 ∣ x) = σ (\sum_{i} \log \frac{p (x_{i} ∣ c = 1)}{p (x_{i} ∣ c = 0)} + \log \frac{p (c = 1)}{p (c = 0)}),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right),$

$\sigma$ $p(x_i \mid c)$

p (x_{i} ∣ c) = h_{i} (x_{i}) \exp (u_{i c}^{⊤} ϕ_{i} (x_{i}) - A_{i} (u_{i c})),

$p(x_i \mid c) = h_i(x_i)\exp\left(\mathbf{u}_{ic}^\top \phi_i(x_i) - A_i(\mathbf{u}_{ic})\right),$

e, portanto

p (c = 1 ∣ x) = σ (\sum_{i} w_{i}^{⊤} ϕ_{i} (x_{i}) + b),

$p(c = 1 \mid \mathbf{x}) = \sigma\left( \sum_i \mathbf{w}_i^\top \phi_i(x_i) + b \right),$

Onde

\begin{aligned} w_{i} & = u_{i 1} - u_{i 0}, \\ b & = \log \frac{p (c = 1)}{p (c = 0)} - \sum_{i} (A_{i} (u_{i 1}) - A_{i} (u_{i 0})) . \end{aligned}

$\begin{align} \mathbf{w}_i &= \mathbf{u}_{i1} - \mathbf{u}_{i0}, \\ b &= \log \frac{p(c = 1)}{p(c = 0)} - \sum_i \left( A_i(\mathbf{u}_{i1}) - A_i(\mathbf{u}_{i0}) \right). \end{align}$

$\phi_i$

$p(x_i \mid c)$ $\phi_i(x_i) = (x_i, x_i^2)$

\begin{aligned} w_{i 1} & = σ_{1}^{- 2} μ_{1} - σ_{0}^{- 2} μ_{0}, \\ w_{i 2} & = 2 σ_{0}^{- 2} - 2 σ_{1}^{- 2}, \\ b_{i} & = \log σ_{0} - \log σ_{1}, \end{aligned}

$\begin{align} w_{i1} &= \sigma_1^{-2}\mu_1 - \sigma_0^{-2}\mu_0, \\ w_{i2} &= 2\sigma_0^{-2} - 2\sigma_1^{-2}, \\ b_i &= \log \sigma_0 - \log \sigma_1, \end{align}$

$p(c = 1) = p(c = 0) = \frac{1}{2}$

* Veja como obter esse resultado:

\begin{aligned} p (c = 1 ∣ x) & = \frac{p (x ∣ c = 1) p (c = 1)}{p (x ∣ c = 1) p (c = 1) + p (x ∣ c = 0) p (c = 0)} \\ = \frac{1}{1 + \frac{p (x ∣ c = 0) p (c = 0)}{p (x ∣ c = 1) p (c = 1)}} \\ = \frac{1}{1 + \exp (- \log \frac{p (x ∣ c = 1) p (c = 1)}{p (x ∣ c = 0) p (c = 0)})} \\ = σ (\sum_{i} \log \frac{p (x_{i} ∣ c = 1)}{p (x_{i} ∣ c = 0)} + \log \frac{p (c = 1)}{p (c = 0)}) \end{aligned}

$\begin{align} p(c = 1 \mid \mathbf{x}) &= \frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 1) p(c = 1) + p(\mathbf{x} \mid c = 0) p(c = 0)} \\ &= \frac{1}{1 + \frac{p(\mathbf{x} \mid c = 0) p(c = 0)}{p(\mathbf{x} \mid c = 1) p(c = 1)}} \\ &= \frac{1}{1 + \exp\left( -\log\frac{p(\mathbf{x} \mid c = 1) p(c = 1)}{p(\mathbf{x} \mid c = 0) p(c = 0)} \right)} \\ &= \sigma\left( \sum_i \log \frac{p(x_i \mid c = 1)}{p(x_i \mid c = 0)} + \log \frac{p(c = 1)}{p(c = 0)} \right) \end{align}$

— Lucas
fonte

Obrigado pela derivação, que agora entendo, você pode explicar as notações na equação 2 e abaixo? (u, h (x_i), phi (x_i), etc) P (x_i | c) está sob uma família exponencial, simplesmente pegando o valor do pdf?

— Kevin Pei

u

$\mathbf{u}$

ϕ

$\phi$

11

ϕ (x) = (x, x^{2})

$\phi(x) = (x, x^2)$

w

$\mathbf{w}$

Acho esta resposta enganosa: como apontado no comentário, e a resposta logo abaixo, o ingênuo gaussiano Bayes não é linear no espaço original, mas em uma transformação não linear deles. Portanto, não é um classificador linear convencional.

— Gael Varoquaux

p (x_{i} | c)

$p(x_i|c)$

ϕ_{i} (x_{i}) = (x_{i}, x_{i}^{2})

$\phi_i(x_i)=(x_i,x_i^2)$

T (x)

$T(x)$

x / σ

$x/\sigma$

8

É linear apenas se as matrizes de variação condicional da classe forem as mesmas para as duas classes. Para ver isso, anote a razão das partes posteriores do log e você obterá apenas uma função linear se as variações correspondentes forem as mesmas. Caso contrário, é quadrático.

— axk
fonte

3

Eu gostaria de acrescentar um ponto adicional: a razão de uma certa confusão está no que significa estar executando a "classificação Naive Bayes".

Sob o tópico amplo de "Análise Gaussiana Discriminante (GDA)", existem várias técnicas: QDA, LDA, GNB e DLDA (DA quadrática, DA linear, DA bayes ingênuas gaussianas, LDA diagonal). [ATUALIZADO] O LDA e o DLDA devem ser lineares no espaço dos preditores fornecidos. (Veja, por exemplo, Murphy , 4.2, pág. 101 para DA e pág. 82 para NB. Nota: GNB não é necessariamente linear. NB discreto (que usa uma distribuição multinomial sob o capô) é linear. Você também pode conferir Duda , Seção Hart & Stork 2.6). O QDA é quadrático, como outras respostas apontaram (e acho que é o que está acontecendo no seu gráfico - veja abaixo).

$\Sigma_c$

$\Sigma_c$
$\Sigma_c = \Sigma$
$\Sigma_c = {diag}_c$ $\rightarrow$
$\Sigma_c = diag$

Embora os documentos do e1071 afirmem que ele está assumindo independência condicional de classe (ou seja, GNB), desconfio que ele esteja realmente fazendo QDA. Algumas pessoas confundem "Bayes ingênuos" (fazendo suposições de independência) com "regra simples de classificação bayesiana". Todos os métodos GDA são derivados do posterior; mas apenas o GNB e o DLDA usam o primeiro.

Um grande aviso: não li o código-fonte e1071 para confirmar o que está fazendo.

— MrDrFenner
fonte