Análise Discriminante Linear para

Estou estudando 'Introdução à aprendizagem estatística' de James, Witten, Hastie, Tibshirani.

Na página 139 do livro, eles começaram introduzindo o Teorema de Bayes . não é constante matemática, mas denota a probabilidade anterior. Nada é estranho nesta equação. $p_k(X)=P(Y=k|X=x) = \dfrac{\pi_kf_k(x)}{\sum_{l=1}^k \pi_l f_l(x)}$ $\pi$

O livro afirma que deseja obter uma estimativa para que possa ser conectada à equação fornecida acima. Para estimar , assume que isso é normal. Na configuração unidimensional, , onde e são a média e a variância da ésima classe. Supõe-se que . (Comecei a ficar confuso com a última declaração.) $f_k(x)$ $f_k(x)$ $f_k(x)=\dfrac{1}{\sqrt{2\pi}\sigma}\exp(-\dfrac{1}{2\sigma^2}(x-\mu_k)^2)$ $\mu_k$ $\sigma^2_k$ $k$ $\sigma^2_1 = \sigma^2_2 = \cdots = \sigma^2_K$

Conectando em , você tem essa equação bastante confuso (1): $f_k$ $p_x$

p_{x} (k) = \frac{π_{k} \frac{1}{\sqrt{2 π} σ} \exp (- \frac{1}{2 σ^{2}} (x - μ_{k})^{2})}{\sum_{eu = 1}^{K} π_{eu} \frac{1}{\sqrt{2 π} σ} \exp (- \frac{1}{2 σ^{2}} (x - μ_{eu})^{2})} .

$p_x(k)=\dfrac{\pi_k \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu_k)^2)}{\sum_{l=1}^K \pi_l \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{1}{2\sigma^2}(x-\mu_l)^2)}.$

Novamente, não há surpresas aqui, pois é apenas uma substituição.

O classificador de Bayes envolve atribuir uma observação à classe cuja equação (1) é a maior. Tomando o log da Equação (1) e reorganizando os termos, não é difícil mostrar que isso equivale a atribuir a observação à classe para a qual a seguinte é a maior:

δ_{k} (x) = x \cdot \frac{μ_{k}}{σ^{2}} - \frac{μ_{k}^{2}}{2 σ^{2}} + registro (π_{k})

$\delta_k(x)=x \cdot \dfrac{\mu_k}{\sigma^2} - \dfrac{\mu_k^2}{2\sigma^2} + \log(\pi_k)$

Pergunta: Eu não entendo de onde isso veio e o que isso significa. Eu tentei fazer o log da equação e não se torna isso. Estamos levando a derivada para algum lugar aqui, já que esta é a maior observação?

self-study classification

— cgo
fonte

Você pode expressar a equação (1) até uma constante de proporcionalidade,

p_{x} (k) \propto π_{k} \frac{1}{\sqrt{2 π} σ} \exp (- \frac{1}{2 σ^{2}} {(x - μ_{k})}^{2})

$p_x(k)\propto \pi_k \frac{1}{\sqrt{2\pi}\sigma}\exp \left(-\frac{1}{2\sigma^2}\left(x-\mu_k \right)^2 \right)$

então se você pegar logs

registro p_{x} (k) \propto registro π_{k} - registro (\sqrt{2 π} σ) - \frac{1}{2 σ^{2}} {(x - μ_{k})}^{2}

$\log p_x(k) \propto \log \pi_k - \log (\sqrt{2\pi} \sigma) -\frac{1}{2\sigma^2}\left(x-\mu_k \right)^2$

$- \log (\sqrt{2\pi} \sigma)$ $k$ $\propto$

— Andy
fonte

δ_{k} (x)

$\delta_k(x)$

δ_{k} (x)

$\delta_k (x)$

k

$k$

x

$x$

δ_{k} (x) = δ_{l} (x)

$\delta_k(x) = \delta_l(x)$

k

$k$

l

$l$

— 21415 Andy