Explique as etapas do algoritmo LLE (incorporação linear local)?

Entendo que o princípio básico por trás do algoritmo para LLE consiste em três etapas.

1. Localizando a vizinhança de cada ponto de dados por alguma métrica como k-nn.
2. Encontre pesos para cada vizinho que denotem o efeito que o vizinho tem no ponto de dados.
3. Construa a incorporação de baixa dimensão dos dados com base nos pesos computados.

Mas a explicação matemática das etapas 2 e 3 é confusa em todos os livros de texto e recursos online que li. Não consigo raciocinar por que as fórmulas são usadas.

Como essas etapas são executadas na prática? Existe alguma maneira intuitiva de explicar as fórmulas matemáticas usadas?

Referências: http://www.cs.nyu.edu/~roweis/lle/publications.html

A incorporação linear local (LLE) elimina a necessidade de estimar a distância entre objetos distantes e recupera a estrutura não linear global por ajustes lineares locais. O LLE é vantajoso porque não envolve parâmetros como taxas de aprendizado ou critérios de convergência. O LLE também se adapta bem à dimensionalidade intrínseca do$\mathbf{Y}$ . A função objetivo para LLE é

$$\begin{equation} \zeta(\mathbf{Y})=(\mathbf{Y}- \mathbf{WY})^2\\ \quad \quad \quad \quad \quad\quad \quad = \mathbf{Y}^\top (\mathbf{I}-\mathbf{W})^\top (\mathbf{I}-\mathbf{W})\mathbf{Y} \end{equation}$$ A matriz de ponderação$\mathbf{W}$ elementos$w_{ij}$ para objectos$i$ e$j$ são estabelecidos para zero se$j$ não é um vizinho mais próximo de$i$ , caso contrário, os pesos para a K- vizinhos mais próximos do objeto$i$ são determinados por um ajuste de mínimos quadrados de $$\begin{equation} \mathbf{U}=\mathbf{G}\boldsymbol{\beta} \end{equation}$$ onde a variável dependente $\mathbf{U}$ é um vetor $K \times 1$ de um,$\mathbf{G}$ é umamatriz$K \times K$ Gram para todos os vizinhos mais próximos do objeto$i$ , e$\boldsymbol{\beta}$ é um$K \times 1$. Pode-se demonstrar que G é igual à matriz de distância duplamente centrada τ com elementos τ l m = - 1vetor de pesos que seguem restrições de soma para unidade. Seja $\mathbf{D}$ uma matriz de distância K × $K \times K$ semidefinida positiva simétrica para todos os pares dos vizinhos K-mais próximos do objeto $p$ dimensional $\mathbf{x}_i$$\mathbf{G}$$\boldsymbol{\tau}$ $$\begin{equation} \tau_{lm}=-\frac{1}{2} \left( d_{lm}^2 - \frac{1}{K}\sum_l d_{lm}^2 - \frac{1}{K}\sum_m d_{lm}^2 + \sum_l\sum_m d_{lm}^2 \right). \end{equation}$$ Oscoeficientes de regressão$K$são determinados numericamente usando $$\begin{equation} \underset{K \times 1}{\boldsymbol{\beta}}=\underset{K \times K}{(\boldsymbol{\tau}^\top \boldsymbol{\tau})}^{-1}\underset{K \times 1}{\boldsymbol{\tau}^\top\mathbf{U}}, \end{equation}$$ e são verificados para confirmar se resumir à unidade. Os valores deβsão incorporados na linhaide Wnas várias posições da coluna correspondentes aos vizinhos K-mais próximos do objetoi, bem como os elementos de transposição. Isso é repetido para cadai$\boldsymbol{\beta}$$i$$\mathbf{W}$$i$$i$ th objeto no conjunto de dados. Ele garante que, se o número de vizinhos $K$ mais próximos for muito baixo, $\mathbf{W}$ poderá ser escasso, dificultando a análise própria. Observou-se que $K=9$ vizinhos mais próximos resultaram em matrizes $\mathbf{W}$ que não continham patologias durante a análise própria. A função objetivo é minimizada encontrando os menores autovalores diferentes de zero de $$\begin{equation} (\mathbf{I}-\mathbf{W})^\top(\mathbf{I}-\mathbf{W})\mathbf{E}=\boldsymbol{\Lambda}\mathbf{D}\mathbf{E}. \end{equation}$$ A forma reduzida de$\mathbf{X}$ é representada por$\mathbf{Y}=\mathbf{E}$ onde$\mathbf{E}$ tem dimensões$n \times 2$ base nos dois valores próprios mais baixos de$\boldsymbol{\Lambda}$ .