Como a análise discriminante linear reduz as dimensões?

Há palavras de "Os elementos do aprendizado estatístico" na página 91:

Os centróides K no espaço de entrada p-dimensional abrangem no subespaço dimensional K-1 e, se p for muito maior que K, será uma queda considerável na dimensão.

Eu tenho duas perguntas:

1. Por que os centróides K no espaço de entrada p-dimensional abrangem no máximo o subespaço dimensional K-1?
2. Como estão localizados os centróides K?

Não há explicação no livro e não encontrei a resposta em trabalhos relacionados.

$min(k-1,p)$

A álgebra do LDA na fase de extração está aqui .

Embora "Os elementos do aprendizado estatístico" seja um livro brilhante, ele exige um nível relativamente alto de conhecimento para obter o máximo dele. Existem muitos outros recursos na web para ajudá-lo a entender os tópicos do livro.

Vamos dar um exemplo muito simples de análise discriminante linear em que você deseja agrupar um conjunto de pontos de dados bidimensionais em grupos K = 2. A queda nas dimensões será apenas K-1 = 2-1 = 1. Como o @deinst explicou, a queda nas dimensões pode ser explicada com geometria elementar.

Dois pontos em qualquer dimensão podem ser unidos por uma linha, e uma linha é unidimensional. Este é um exemplo de um subespaço dimensional K-1 = 2-1 = 1.

Agora, neste exemplo simples, o conjunto de pontos de dados será espalhado no espaço bidimensional. Os pontos serão representados por (x, y), portanto, por exemplo, você pode ter pontos de dados como (1,2), (2,1), (9,10), (13,13). Agora, o uso da análise discriminante linear para criar dois grupos A e B resultará na classificação dos pontos de dados como pertencentes ao grupo A ou ao grupo B, de modo que certas propriedades sejam satisfeitas. A análise discriminante linear tenta maximizar a variação entre os grupos em comparação com a variação dentro dos grupos.

Em outras palavras, os grupos A e B estarão distantes e conterão pontos de dados próximos. Neste exemplo simples, é claro que os pontos serão agrupados da seguinte maneira. Grupo A = {(1,2), (2,1)} e Grupo B = {(9,10), (13,13)}.

Agora, os centróides são calculados como os centróides dos grupos de pontos de dados,

Centroid of group A = ((1+2)/2, (2+1)/2) = (1.5,1.5) 

Centroid of group B = ((9+13)/2, (10+13)/2) = (11,11.5)

Os Centroids são simplesmente 2 pontos e abrangem uma linha unidimensional que os une.

Você pode pensar na análise discriminante linear como uma projeção dos pontos de dados em uma linha, para que os dois grupos de pontos de dados sejam o mais "separados possível".

Se você tivesse três grupos (e digamos pontos de dados tridimensionais), obteria três centróides, simplesmente três pontos e três pontos no espaço 3D, definindo um plano bidimensional. Novamente, a regra K-1 = 3-1 = 2 dimensões.

Eu sugiro que você pesquise na Web por recursos que ajudarão a explicar e expandir a introdução simples que eu dei; por exemplo http://www.music.mcgill.ca/~ich/classes/mumt611_07/classifiers/lda_theory.pdf