Matriz de dispersão total (dentro da classe + entre classes) derivada

Eu estava brincando com os métodos PCA e LDA e estou em um ponto, sinto que é tão simples que não consigo vê-lo.

Matrizes de dispersão dentro da classe ( ) e entre classes ( ) são definidas como: $S_W$ $S_B$

S_{W} = \sum_{Eu = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{Eu} - μ_{Eu}) (x_{t}^{Eu} - μ_{Eu})^{T}

$S_W = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i)(x_t^i - \mu_i)^T$

S_{B} = \sum_{Eu = 1}^{C} N (μ_{Eu} - μ) (μ_{Eu} - μ)^{T}

$S_B = \sum_{i=1}^CN(\mu_i-\mu)(\mu_i-\mu)^T$

A matriz de dispersão total é dada como: $S_T$

S_{T} = \sum_{Eu = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{Eu} - μ) (x_{t}^{Eu} - μ)^{T} = S_{W} + S_{B}

$S_T = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T = S_W + S_B$

onde C é o número de classes e N é o número de amostras são amostras, é a média da classe, é a média geral. $x$ $\mu_i$ $\mu$

Ao tentar derivar eu vim até um ponto onde eu tive: $S_T$

(x - μ_{Eu}) (μ_{Eu} - μ)^{T} + (μ_{Eu} - μ) (x - μ_{Eu})^{T}

$(x-\mu_i)(\mu_i-\mu)^T + (\mu_i-\mu)(x-\mu_i)^T$

como um termo. Isso precisa ser zero, mas por quê?

De fato:

\begin{aligned} S_{T} & = \sum_{Eu = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{Eu} - μ) (x_{t}^{Eu} - μ)^{T} \\ = \sum_{Eu = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{Eu} - μ_{Eu} + μ_{Eu} - μ) (x_{t}^{Eu} - μ_{Eu} + μ_{Eu} - μ)^{T} \\ = S_{W} + S_{B} + \sum_{Eu = 1}^{C} \sum_{t = 1}^{N} [(x_{t}^{Eu} - μ_{Eu}) (μ_{Eu} - μ)^{T} + (μ_{Eu} - μ) (x_{t}^{Eu} - μ_{Eu})^{T}] \end{aligned}

$\begin{align} S_T &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T \\ &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i + \mu_i - \mu)(x_t^i - \mu_i + \mu_i - \mu)^T \\ &= S_W + S_B + \sum_{i=1}^C\sum_{t=1}^N\big[(x_t^i - \mu_i)(\mu_i - \mu)^T + (\mu_i - \mu)(x_t^i - \mu_i)^T\big] \end{align}$

discriminant-analysis

— nimcap
fonte

A resposta é que você está somando os desvios dos valores em torno da média e essa soma é zero. Mas o que, exatamente, são

, e

? Como

relacionados a

? A qualidade das respostas dependerá da precisão com que adivinhamos, mas você está nos forçando a adivinhar demais!

x

$x$

m

$m$

m_{i}

$m_i$

m

$m$

m_{i}

$m_i$

μ

$\mu$

μ_{i}

$\mu_i$

— whuber

@ whuber: Você está totalmente certo, eu revisei minha pergunta.

— Nimcap 23/03

Se você assumir

\frac{1}{N} \sum_{t = 1}^{N} x_{t}^{Eu} = μ_{Eu}

$\frac{1}{N}\sum_{t=1}^Nx_t^{i}=\mu_i$

Então

\sum_{Eu = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{Eu} - μ_{Eu}) (μ_{Eu} - μ)^{T} = \sum_{Eu = 1}^{C} (\sum_{t = 1}^{N} (x_{t}^{Eu} - μ_{Eu})) (μ_{Eu} - μ)^{T} = 0 0

$\sum_{i=1}^C\sum_{t=1}^N(x_t^i-\mu_i)(\mu_i-\mu)^T=\sum_{i=1}^C\left(\sum_{t=1}^N(x_t^i-\mu_i)\right)(\mu_i-\mu)^T=0$

e fórmula vale. Você lida com o segundo termo da mesma maneira.

— mpiktas
fonte

(+1) O segundo termo, sendo a transposição do primeiro, também deve ser zero :-).

— whuber

@whuber, sim, isso também :)

— mpiktas 23/03

Oi, eu não entendo por que a suposição é válida? Alguém pode explicar isso?

— Mvkt

@Mvkt Não é tanto uma suposição quanto a definição de

μ_{i}

$\mu_i$

μ_{i}

$\mu_i$

i

$i$

μ_{i}

$\mu_i$