O que são "coeficientes de discriminantes lineares" na LDA?

Em R, eu uso a ldafunção da biblioteca MASSpara fazer a classificação. Pelo que entendi LDA, a entrada $x$ receberá o rótulo $y$ , que maximiza $p(y|x)$ , certo?

Mas quando ajustar o modelo, no qual

x = (L a g 1, L a g 2)

$x=(Lag1,Lag2)$

y = D i r e c t i o n,

$y=Direction,$ eu não bastante compreender a saída lda,

Editar: para reproduzir a saída abaixo, execute primeiro:

library(MASS)
library(ISLR)

train = subset(Smarket, Year < 2005)

lda.fit = lda(Direction ~ Lag1 + Lag2, data = train)

> lda.fit
Call:
lda(Direction ~ Lag1 + Lag2, data = train)

Prior probabilities of groups:
    Down       Up 
0.491984 0.508016 

Group means:
            Lag1        Lag2
Down  0.04279022  0.03389409
Up   -0.03954635 -0.03132544

Coefficients of linear discriminants:
            LD1
Lag1 -0.6420190
Lag2 -0.5135293

Eu entendo todas as informações na saída acima, mas uma coisa, o que é LD1 ? Eu pesquiso na web, é uma pontuação discriminante linear ? O que é isso e por que eu preciso disso?

ATUALIZAR

Eu li vários posts (como este e este ) e também pesquise DA na Web, e agora aqui está o que penso sobre DA ou LDA.

Ele pode ser usado para fazer a classificação, e quando este é o propósito, eu posso usar a abordagem de Bayes, ou seja, calcular a posterior $p(y|x)$ para cada classe $y_i$ , e, em seguida, classificar $x$ para a classe com o maior posterior. Por essa abordagem, não preciso descobrir os discriminantes, certo?
Como eu li nas postagens, DA ou pelo menos LDA visa principalmente a redução de dimensionalidade , para classes $K$ e espaço preditivo de $D$ dim, posso projetar o $D$ dim $x$ em um novo espaço de recurso $(K-1)$ -d $z$ , isto é,
$\begin{aligned} x & = (x_{1}, . . ., x_{D}) \\ z & = (z_{1}, . . ., z_{K - 1}) \\ z_{i} & = w_{i}^{T} x \end{aligned}$ $\begin{align*}x&=(x_1,...,x_D)\\z&=(z_1,...,z_{K-1})\\z_i&=w_i^Tx\end{align*}$ , $z$ pode ser visto como o vetor de característica transformada do $x$ original, e cada $w_i$ é o vetor no qual $x$ é projetado.

Estou certo sobre as afirmações acima? Se sim, tenho as seguintes perguntas:

O que é um discriminante ? Cada entrada $z_i$ no vetor $z$ é discriminante? Ou $w_i$ ?
Como fazer a classificação usando discriminantes?

r discriminant-analysis inference

— abacate
fonte

A LDA possui 2 estágios distintos: extração e classificação. Na extração, são formadas variáveis latentes chamadas discriminantes, como combinações lineares das variáveis de entrada. Os coeficientes nessas combinações lineares são chamados de coeficientes discriminantes; é sobre isso que você pergunta. No segundo estágio, os pontos de dados são atribuídos às classes por esses discriminantes, não por variáveis originais. Para ler mais, pesquise discriminant analysisneste site.

— ttnphns

A pontuação discriminante linear é o valor de um ponto de dados por um discriminante; portanto, não confunda com coeficiente discriminante, que é como um coeficiente regressivo. Veja minha resposta detalhada aqui .

— ttnphns

@ttnphns, obrigado e vou ler mais sobre o DA. BTW, eu pensei que para classificar uma entrada

, eu só preciso calcular o

posterior para todas as classes e depois escolher a classe com a maior posterior, certo? E não vejo por que preciso de

no cálculo da posterior.

X

$X$

p (y | x)

$p(y|x)$

L D 1

$LD1$

— abacate

Você pode e pode fazer a classificação da regra de Bayes com base nas variáveis originais. Mas isso não será uma análise discriminante. A parte essencial do LDA é a redução da dimensionalidade, que permite substituir os classificadores-variáveis originais por um número menor de classificadores derivativos, os discriminantes. Por favor, leia as postagens aqui, especialmente as minhas, elas descrevem minuciosamente as idéias e a matemática da LDA.

— ttnphns

@ttnphns, estou lendo o post é ligada no comentário acima, ;-)

— abacate

Respostas:

Se você multiplicar cada valor de LDA1(o primeiro discriminante linear) pelos elementos correspondentes das variáveis de previsão e somá-los ( ), obtém um score para cada entrevistado. Essa pontuação ao longo do anterior é usada para calcular a probabilidade posterior $-0.6420190\times$ Lag1 $+ -0.5135293\times$ Lag2 de participação na classe (existem várias fórmulas diferentes para isso). A classificação é feita com base na probabilidade posterior, com observações previstas na classe para a qual elas têm a maior probabilidade.

O gráfico abaixo ilustra a relação entre a pontuação, a probabilidade posterior e a classificação, para o conjunto de dados usado na pergunta. Os padrões básicos sempre são válidos para a ADL de dois grupos: existe um mapeamento 1 para 1 entre as pontuações e a probabilidade posterior, e as previsões são equivalentes quando feitas a partir das probabilidades posteriores ou das pontuações.

Respostas às sub-perguntas e alguns outros comentários

Embora o LDA possa ser usado para redução de dimensão, não é isso que está acontecendo no exemplo. Com dois grupos, a razão pela qual apenas uma pontuação é necessária por observação é que isso é tudo o que é necessário. Isso ocorre porque a probabilidade de estar em um grupo é o complemento da probabilidade de estar no outro (ou seja, eles adicionam a 1). Você pode ver isso no gráfico: pontuações inferiores a -.4 são classificadas como estando no grupo Para baixo e prevê-se que pontuações mais altas sejam Para cima .
Às vezes, o vetor de pontuações é chamado a discriminant function. Às vezes, os coeficientes são chamados assim. Não estou claro se uma delas está correta. Eu acredito que MASS discriminantse refere aos coeficientes.
A ldafunção do pacote MASS produz coeficientes de maneira diferente da maioria dos outros softwares LDA. A abordagem alternativa calcula um conjunto de coeficientes para cada grupo e cada conjunto de coeficientes possui um intercepto. Com a função discriminante (escores) calculada usando esses coeficientes, a classificação é baseada na pontuação mais alta e não há necessidade de calcular probabilidades posteriores para prever a classificação. Eu coloquei algum código LDA no GitHub, que é uma modificação da MASSfunção, mas produz esses coeficientes mais convenientes (o pacote é chamado Displayr/flipMultivariatese, se você criar um objeto usando, LDApoderá extrair os coeficientes usando obj$original$discriminant.functions).
Eu publiquei o R para codificar todos os conceitos deste post aqui .
Não existe uma fórmula única para calcular probabilidades posteriores a partir da pontuação. A maneira mais fácil de entender as opções é (pelo menos para mim) olhar o código-fonte, usando:

library(MASS) getAnywhere("predict.lda")

— Tim
fonte

I'm not clear on whether either [word use] is correct"função discriminante", também conhecida como "discriminante", é uma variável extraída - uma variável, uma dimensão. Portanto, é caracterizado tanto pelos coeficientes (pesos) para avaliá-lo a partir das variáveis de entrada quanto pelas pontuações, pelos valores. Exatamente como um PC no PCA. Portanto, "coeficientes discriminantes" e "pontuações discriminantes" são o uso correto.

— ttnphns

@ttnphns, seu uso da terminologia é muito claro e inequívoco. Mas, não é o uso que aparece em grande parte das publicações e publicações sobre o assunto, que é o ponto que eu estava tentando enfatizar. Baseado apenas no significado das palavras, é bastante claro para mim que a "função discriminante" deve se referir à função matemática (ou seja, produto da soma e coeficientes), mas, novamente, não está claro para mim que esse é o uso generalizado.

— Tim

@ Tim o link que você postou para o código está morto, você pode copiar o código em sua resposta, por favor?

— precisa saber é

A teoria por trás dessa função é "O método de Fisher para discriminação entre várias populações". Eu recomendo o capítulo 11.6 na análise estatística multivariada aplicada (ISBN: 9780134995397) para referência.

— Morgan Zhu
fonte