Análise Discriminante Linear para


9

Estou estudando 'Introdução à aprendizagem estatística' de James, Witten, Hastie, Tibshirani.

Na página 139 do livro, eles começaram introduzindo o Teorema de Bayes . não é constante matemática, mas denota a probabilidade anterior. Nada é estranho nesta equação. πpk(X)=P(Y=k|X=x)=πkfk(x)eu=1kπeufeu(x)π

O livro afirma que deseja obter uma estimativa para que possa ser conectada à equação fornecida acima. Para estimar , assume que isso é normal. Na configuração unidimensional, , onde e são a média e a variância da ésima classe. Supõe-se que . (Comecei a ficar confuso com a última declaração.)f k ( x ) f k ( x ) = 1fk(x)fk(x)μkσ 2 k kσ 2 1 =σ 2 2 ==σ 2 Kfk(x)=12πσexp(-12σ2(x-μk)2)μkσk2kσ12=σ22==σK2

Conectando em , você tem essa equação bastante confuso (1):p xfkpx

px(k)=πk12πσexp(-12σ2(x-μk)2)eu=1Kπeu12πσexp(-12σ2(x-μeu)2).

Novamente, não há surpresas aqui, pois é apenas uma substituição.


O classificador de Bayes envolve atribuir uma observação à classe cuja equação (1) é a maior. Tomando o log da Equação (1) e reorganizando os termos, não é difícil mostrar que isso equivale a atribuir a observação à classe para a qual a seguinte é a maior:

δk(x)=xμkσ2-μk22σ2+registro(πk)

Pergunta: Eu não entendo de onde isso veio e o que isso significa. Eu tentei fazer o log da equação e não se torna isso. Estamos levando a derivada para algum lugar aqui, já que esta é a maior observação?

Respostas:


5

Você pode expressar a equação (1) até uma constante de proporcionalidade,

px(k)πk12πσexp(-12σ2(x-μk)2)

então se você pegar logs

registropx(k)registroπk-registro(2πσ)-12σ2(x-μk)2

-registro(2πσ)k


δk(x)

2
δk(x)kxδk(x)=δeu(x)keu
21415 Andy
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.