Como entender “não linear” como em “redução de dimensionalidade não linear”?

24

Estou tentando entender as diferenças entre os métodos de redução de dimensionalidade linear (por exemplo, PCA) e os não lineares (por exemplo, Isomap).

Não consigo entender direito o que a (não) linearidade implica nesse contexto. Eu li na Wikipedia que

Por comparação, se o PCA (um algoritmo de redução de dimensionalidade linear) for usado para reduzir esse mesmo conjunto de dados em duas dimensões, os valores resultantes não serão tão bem organizados. Isso demonstra que os vetores de alta dimensão (cada um representando uma letra 'A') que amostram essa variedade variam de maneira não linear.

O que

os vetores de alta dimensão (cada um representando uma letra 'A') que amostram essa variedade variam de maneira não linear.

significar? Ou mais amplamente, como eu entendo a (não) linearidade nesse contexto?

— Sibbs Gambling
fonte

20

Redução de dimensionalidade significa que você mapeia cada vetor multidimensional em um vetor de baixa dimensão. Em outras palavras, você representa (substitui) cada vetor multidimensional por um vetor de baixa dimensão.

A redução linear da dimensionalidade significa que os componentes do vetor de baixa dimensão são dados por funções lineares dos componentes do vetor de alta dimensão correspondente. Por exemplo, no caso de redução para duas dimensões, temos:

[x1, x2, ..., xn] ->  [f1(x1, x2, ..., xn), f2(x1, x2, ..., xn)]

Se f1e f2são funções (não) lineares, temos uma redução de dimensionalidade (não) linear.

— romano
fonte

3

f (a \cdot x + b) = a \cdot f (x) + b

$f(a\cdot x + b) = a\cdot f(x) + b$

w_{1} x_{1} + \dots + w_{n} x_{n}

$w_1x_1 + \dots + w_nx_n$

1

f_{i} = f_{i} (x_{1}, \dots, x_{n}) = c^{(i)} + ω_{1}^{(i)} x_{1} + \dots ω_{n}^{(i)} x_{n}

$f_i = f_i (x_1, \dots, x_n) = c^{(i)} + \omega^{(i)}_1 x_1 + \dots \omega^{(i)}_n x_n$

f_{i}

$f_i$

x_{i}

$x_i$ são os componentes dos vetores de baixa e alta dimensão, respectivamente (e acho que não é o que você quer dizer). Eu pensei que o problema não estava em entender o que é uma função linear, mas em onde a linearidade aparece.

— Roman

49

Uma imagem vale mais que mil palavras:

PCA vs Isomap

Aqui estamos procurando uma estrutura unidimensional em 2D. Os pontos estão ao longo de uma curva em forma de S. O PCA tenta descrever os dados com uma variedade linear unidimensional, que é simplesmente uma linha; é claro que uma linha se encaixa muito mal nesses dados. O Isomap está procurando um coletor unidimensional não linear (isto é, curvado!) E deve ser capaz de descobrir a curva em forma de S subjacente.

— ameba diz Restabelecer Monica
fonte