Técnica não ortogonal análoga à PCA

9

Suponha que eu tenha um conjunto de dados de ponto 2D e queira detectar as direções de todos os máximos locais de variação nos dados, por exemplo:

insira a descrição da imagem aqui

O PCA não ajuda nessa situação, pois é uma decomposição ortogonal e, portanto, não pode detectar ambas as linhas que eu indiquei em azul; sua saída pode parecer com a mostrada pelas linhas verdes.

Por favor, recomende qualquer técnica que possa ser adequada para esse fim. Obrigado.

pca dimensionality-reduction

— Ahmed
fonte

Você poderia disponibilizar seu conjunto de dados de exemplo? Eu gostaria de tentar algo para você. Atenciosamente, Eric

— Eric Melse

10

A Análise Independente de Componentes deve ser capaz de fornecer uma boa solução. É capaz de decompor componentes não ortogonais (como no seu caso) assumindo que suas medidas resultam de uma mistura de variáveis estatisticamente independentes.

Existem muitos bons tutoriais na Internet e silenciamos algumas implementações disponíveis gratuitamente para experimentar (por exemplo, no scikit ou MDP ).

Quando o ICA não funciona?

Como outros algoritmos, o ICA é ideal quando as suposições para as quais foi derivado se aplicam. Concretamente,

fontes são estatisticamente independentes
os componentes independentes são não gaussianos
a matriz de mistura é invertível

A ICA retorna uma estimativa da matriz de mistura e dos componentes independentes.

$x_{1}$ $x_{2}$ $N(0,I)$

p (x_{1}, x_{2}) = p (x_{1}) p (x_{2}) = \frac{1}{2 π} \exp (- \frac{x_{1}^{2} + x_{2}^{2}}{2}) = \frac{1}{2 π} \exp - \frac{| | x | |^{2}}{2}

$p(x_{1}, x_{2}) = p(x_{1})p(x_{2}) = \frac{1}{2\pi}\exp \left( -\frac{x_{1}^{2}+x_{2}^{2}}{2} \right) = \frac{1}{2\pi}\exp -\frac{||\mathbf{x}||^{2}}{2}$

$||.||$ $R$ $||R\mathbf{x}|| = ||\mathbf{x}||$

— jpmuc
fonte

Sim, deveria ( scikit-learn.org/stable/auto_examples/decomposition/… ), Muito obrigado! : D

— Ahmed

11

Isso pode se transformar em uma resposta muito profunda se você contar mais; em particular, decida comparar a proposta de @ Gottfried (PCA com rotação oblíqua) com sua proposta (ICA), - quais são as diferenças e deficiências das duas.

— Ttnphns

Vejo que esta pergunta foi respondida parcialmente. Verifique a edição, adicionando um exemplo simples ao qual o ICA não se aplica.

— Jpmuc

3

Existem procedimentos semelhantes ao PCA para o caso "oblíquo". Em softwares estatísticos como o SPSS (e possivelmente também em seu clone de freeware), o PSPP encontra as chamadas rotações oblíquas equivalentes, e instâncias delas nomeadas como "oblimin", "promax" e algo mais. Se eu entendo as coisas corretamente, o software tenta "retangularizar" as cargas fatoriais recalculando suas coordenadas em um espaço ortogonal e euclidiano (como, por exemplo, mostrado na figura) em coordenadas de um espaço cujos eixos não são ortogonais, talvez com alguma técnica conhecida por regressão múltipla. Além disso, acho que isso funciona apenas iterativamente e consome um ou mais graus de liberdade nos testes estatísticos do modelo.

de comparação PCA e rotação oblíqua
O manual de referência do SPSS (no site da IBM) para rotações oblíquas contém fórmulas uniformes para o cálculo.

[Atualização] (Ups, desculpe, verifiquei se o PSPP não fornece "rotações" do tipo oblíquo)

— Elmos de Gottfried
fonte

11

Hmm, depois de uma terceira leitura, vejo que sua pergunta é um pouco diferente da lógica de rotação oblíqua: em sua nuvem de dados, nem mesmo a média está na origem / que os dados nem estão centralizados, então você pode ter outra coisa em mente do que eu cobri aqui na minha resposta. Se este for o caso, posso apagar a resposta mais tarde ...

— Gottfried Helms

11

Como as "rotações" oblíquas são subsequentes ao PCA, elas não podem "ver" o tipo de situação ilustrada na pergunta e, portanto, parecem não ter mais capacidade de identificar os dois componentes do que o próprio PCA.

— whuber

2

Não tenho muita experiência com isso, mas o PCA generalizado de Vidal, Ma e Sastry foi criado para um problema muito semelhante.

— Noah Stein
fonte

2

As outras respostas já deram algumas dicas úteis sobre técnicas que você pode considerar, mas ninguém parece ter apontado que sua suposição está errada: as linhas mostradas em azul na sua imagem esquemática NÃO são os máximos locais da variação.

$\mathbf{w}$ $\mathbf{w}^\top\mathbf{\Sigma}\mathbf{w}$ $\mathbf{\Sigma}$ $\mathbf{w}$ $\lambda(\mathbf{w}^\top\mathbf{w}-1)$ $\lambda$

Σ w - λ w = 0.

$\mathbf{\Sigma}\mathbf{w} - \lambda \mathbf{w} = 0.$

$\mathbf{w}$

— ameba
fonte

Olá, eu não tenho muita formação em matemática, você pode me recomendar um bom recurso para aprender sobre as coisas que você mencionou acima? Obrigado.

— Ahmed

@ Ahmed: Não tenho certeza, depende do que você já sabe. Eu acho que você precisaria de livros decentes sobre álgebra linear e análise. Isso é algo bastante básico, deve ser abordado em qualquer livro decente.

— Ameba