LDA multi classe vs LDA de 2 classes

O problema de projetar um classificador de várias classes usando o LDA pode ser expresso como um problema de 2 classes (um vs todo o resto) ou um problema de várias classes .

Por que, em certos casos, o classificador LDA de várias classes supera o LDA de 2 classes (um vs todo o resto) ou vice-versa .

— garak
fonte

Você poderia adicionar detalhes à sua pergunta bastante reservada. Exemplos. E você considera aqui os dois estágios da LDA - extração e classificação - ou apenas classificação?

— ttnphns

bem, estou tentando projetar um vetor de 27 dimensões para dimensões mais baixas e comparar os vetores. O motivo é projetar uma técnica de classificação simples para classificar o melhor possível.

— Garak

Ocasionalmente, você pode encontrar dados quando uma classificação de duas classes é mais precisa (por exemplo, quando uma classe está distante, "outlier", das demais, próximas umas das outras. .. deve vir a ser melhor em primeiro lugar, k classes permitem eixos mais discriminantes em segundo lugar, um grupo de K-1 aulas geralmente não se espera que siga distribuição normal multivariada em que a fase de classificação LDA depende de resposta See de JohnSmith..

— ttnphns

Eu acho que o classificador LDA multi-classe sempre (bem, na maioria das tarefas práticas) supera o LDA de 2 classes. E tentarei descrever o porquê.

Veja o exemplo do conjunto de dados: conjunto de dados de amostra com três classes

Você tem três aulas aqui. Digamos que você queira criar um classificador um contra outro com LDA para a classe azul.

A média estimada para a classe "azul" é zero, mas a média estimada para a classe "outro" também é zero. E a covariância é a mesma da definição de LDA. Isso significa que o LDA responderá com o rótulo que possui mais elementos. E nunca retornará a classe "azul"!

Para o LDA de várias classes, ele conseguirá encontrar as classes certas perfeitamente.

O pano de fundo disso é que a mistura de gaussianos não é mais gaussiana na maioria dos casos. Portanto, essa suposição de LDA falha. E devo dizer que é realmente difícil criar um exemplo de um conjunto de dados em que todas as classes sejam gaussianas, e elas ainda gaussianas depois de nos juntarmos a elas.

É por isso que eu recomendo usar o LDA de várias classes. Espero que ajude!

— Dmitry Laptev
fonte

Acho que o que John mostrou muito bem aqui é que o LDA para duas classes usa uma única linha para separar as classes. Mas, no exemplo, a boa classificação requer duas linhas, que são feitas em um problema de três classes.

— Michael R. Chernick

@ MichaelChernick, sim, exatamente, essa é uma explicação sob os outros pontos de vista, obrigado pelo seu comentário!

— Dmitry Laptev

obrigado pela resposta rápida pessoal! No entanto, encontrei alguns dias atrás, um caso em que um LDA de várias classes (precisão de 60%) está apresentando um desempenho muito menos eficiente que um LDA de 2 classes (precisão de mais de 80%) em um problema de classificação de 10 classes.

— Garak

@MichaelChernick, mas se você usar o LDA como um método de projeção, poderá decidir manter duas dimensões (os dois vetores eigen de maiores valores eigen) e obter a separação que está procurando (usando um método de classificação kNN em vez de separar planos) ou estou perdendo algo óbvio?

— Matthieu #