Qual o significado dos vetores próprios de uma matriz de informação mútua?

Ao examinar os vetores próprios da matriz de covariância, obtemos as direções da variação máxima (o primeiro vetor próprio é a direção na qual os dados variam mais etc.); isso é chamado de análise de componentes principais (PCA).

Fiquei imaginando o que significaria olhar para os autovetores / valores da matriz de informações mútuas, eles apontariam na direção da entropia máxima?

Embora não seja uma resposta direta (como se trata de informações mútuas pontuais ), observe o artigo que relaciona o word2vec a uma decomposição de valor singular da matriz PMI:

• O. Levy, Y. Goldberg, incorporação de palavras neurais como fatoração implícita de matrizes

Analisamos o skip-gram com amostragem negativa (SGNS), um método de incorporação de palavras introduzido por Mikolov et al., E mostramos que ele está fatorando implicitamente uma matriz de contexto de palavras, cujas células são as informações mútuas (PMI) dos respectivos pares de palavras e contextos, deslocados por uma constante global. Descobrimos que outro método de incorporação, NCE, está implicitamente fatorando uma matriz semelhante, em que cada célula é a probabilidade condicional de log (deslocada) de uma palavra, dado seu contexto. Mostramos que o uso de uma matriz de contexto de palavras PMI Shifted Positive PMI esparsa para representar palavras melhora os resultados em duas tarefas de similaridade de palavras e uma de duas tarefas de analogia. Quando vetores densos de baixa dimensão são preferidos, a fatoração exata com SVD pode obter soluções que são pelo menos tão boas quanto as soluções da SGNS para tarefas de similaridade de palavras. Em questões de analogia, o SGNS permanece superior ao SVD. Conjecturamos que isso decorre da natureza ponderada da fatoração do SGNS.