As dimensões t-sne são significativas?

Existem significados para as dimensões de uma incorporação t-sne? Como no PCA, temos esse senso de maximizações de variância linearmente transformadas, mas para t-sne há intuição além do espaço que definimos para mapeamento e minimização da distância KL?

dimensionality-reduction tsne

— Nitro
fonte

Não tenho certeza se isso realmente atinge o que você está perguntando, mas acredito que as dimensões de t-sne realmente dependem apenas da separabilidade dos dados. As dimensões podem mudar com o mesmo conjunto de dados, porque esta é uma transformação não linear. Portanto, as dimensões só podem realmente ser interpretadas no contexto de uma determinada instância. Deixe-me saber se estou errado, é uma pergunta interessante.

— Hobbes

Talvez seja apenas velho e chato?

— Nitro

As dimensões do espaço dimensional baixo não têm significado. Note-se que a função de perda de t-PND está exclusivamente com base nas distâncias entre pontos ( e ) e de probabilidade distribuições mais essas distâncias ( e ): $y_i$ $y_j$ $p_{ij}$ $q_{ij}$

\frac{δ C}{δ y_{Eu}} = 4 \sum_{j} (p_{Eu j} - q_{Eu j}) (y_{Eu} - y_{j}) (1 + | | y_{Eu} - y_{j} | |^{2})^{- 1}

$\frac{\delta C}{\delta y_i}=4 \sum_j(p_{ij} - q_{ij})(y_i-y_j)(1+||y_i -y_j||^2)^{-1}$

Portanto, não há projeção de todo o espaço de alta dimensão para o espaço de baixa dimensão, o t-SNE encontra apenas um mapeamento de um conjunto específico de pontos de alta dimensão para um conjunto específico de pontos de baixa dimensão. Como não há função de um espaço para o outro, também não há significado inerente dos eixos.

Coisas que você pode imaginar para ilustrar isso:

Girar ou traduzir o espaço de alta ou baixa dimensão não influencia as distâncias entre os pontos. Portanto, t-SNE não se importa com rotação ou translação em ambos os espaços. Portanto, não há interpretação absoluta dos eixos.
A distribuição t-Student tem caudas gordas. Isso faz com que a representação de baixa dimensão seja invariável a alterações em pontos distantes no espaço de alta dimensão. Isso também faz com que pontos distantes no espaço de alta dimensão possam estar razoavelmente distantes, distantes ou realmente distantes no espaço de baixa dimensão. Nesse sentido, estende certas partes dos eixos de baixa dimensão (em qualquer direção arbitrária).

Dito isto, o t-SNE é principalmente uma técnica de visualização e sua eficácia de redução de dimensão para outros fins não é óbvia (provavelmente não é adequada para cluster, extração de recursos ou seleção de recursos).

Também: o papel .

— Pieter
fonte