Modelos probabilísticos para mínimos quadrados parciais, regressão de classificação reduzida e análise de correlação canônica?

Esta questão resulta da discussão que se segue a uma pergunta anterior: Qual é a conexão entre mínimos quadrados parciais, regressão de classificação reduzida e regressão de componentes principais?

Para a análise de componentes principais, um modelo probabilístico comumente usado é

x = \sqrt{λ} w z + ϵ \in R^{p},

$\mathbf x = \sqrt{\lambda} \mathbf{w} z + \boldsymbol \epsilon \in \mathbb R^p,$ que

z \sim N (0, 1)

$z\sim \mathcal N(0,1)$ ,

w \in S^{p - 1}

$\mathbf{w}\in S^{p-1}$ ,

λ > 0

$\lambda > 0$ e

ϵ \sim N (0, I_{p})

$\boldsymbol\epsilon \sim \mathcal N(0,\mathbf{I}_p)$ . A covariância populacional de

x

$\mathbf{x}$ é

λ w w^{T} + I_{p}

$\lambda \mathbf{w}\mathbf{w}^T + \mathbf{I}_p$ , ou seja,

x \sim N (0, λ w w^{T} + I_{p}) .

$\mathbf{x}\sim \mathcal N(0,\lambda \mathbf{w}\mathbf{w}^T + \mathbf{I}_p).$ O objetivo é estimar

w

$\mathbf{w}$ . Isso é conhecido como modelo de covariância cravada, que é frequentemente usado na literatura da PCA. O problema de estimar o verdadeiro

w

$\mathbf{w}$ pode ser resolvido maximizando

Var (X w)

$\operatorname{Var} (\mathbf{Xw})$ sobre

w

$\mathbf{w}$ na esfera da unidade.

Conforme apontado na resposta à pergunta anterior de @amoeba, a regressão de classificação reduzida, os mínimos quadrados parciais e a análise de correlação canônica têm formulações estreitamente relacionadas,

$\begin{aligned} P C A : & Var (X w), \\ R R R : & {Corr}^{2} (X w, Y v) \cdot Var (Y v), \\ P L S : & Var (X w) \cdot {Corr}^{2} (X w, Y v) \cdot Var (Y v) = {Cov}^{2} (X w, Y v), \\ C C A : & {Corr}^{2} (X w, Y v) . \end{aligned}$ $\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}),\\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}),\\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv}),\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}). \end{align}$

A questão é: quais são os modelos probabilísticos por trás do RRR, PLS e CCA? Em particular, estou pensando emComo depende de e em RRR, PLS e CCA? Além disso, existe um modelo probabilístico unificado (como o modelo de covariância cravada para PCA) para eles?

(x^{T}, y^{T})^{T} \sim N (0, Σ) .

$(\mathbf{x}^T, \mathbf{y}^T)^T \sim \mathcal N(0, \mathbf{\Sigma}).$

Σ

$\mathbf{\Sigma}$

w

$\mathbf{w}$

v

$\mathbf{v}$

— Minkov
fonte

Olá @Moskowitz. Minha resposta está indo na direção que você esperava? Percebo que ela não responde totalmente à sua pergunta, mas ficaria feliz em receber algum feedback e também interessado em saber sua opinião sobre o assunto. Eu poderia estender minha descrição do PCCA, se você quiser; "PPLS" inexistente é algo em que venho pensando há alguns anos e me pego pensando novamente. Então, seria curioso ouvir seus pensamentos sobre isso.

— Ameba

Oi @amoeba. Muito obrigado pela resposta. Desculpe pelo atraso na resposta. Eu estive pensando em visualizar o PPLS como outro modelo de exibição múltipla, onde as duas variáveis x têm distribuições diferentes, mas não foram bem-sucedidas. Vou tentar adicionar a sua resposta se eu posso descobrir;)

— Minkov

A análise de correlação canônica probabilística (CCA probabilística, PCCA) foi introduzida em Bach & Jordan, 2005, Uma interpretação probabilística da análise de correlação canônica , vários anos após Tipping & Bishop apresentarem sua análise probabilística de componentes principais (PCA probabilística, PPCA).

Resumidamente, é baseado no seguinte modelo probabilístico:

\begin{aligned} z & \sim N (0, I) \\ x | z & \sim N (W_{x} z + μ_{x}, Ψ_{x}) \\ y | z & \sim N (W_{y} z + μ_{y}, Ψ_{y}) \end{aligned}

$\begin{align} \newcommand{\z}{\mathbf z} \newcommand{\x}{\mathbf x} \newcommand{\y}{\mathbf y} \newcommand{\m}{\boldsymbol \mu} \newcommand{\P}{\boldsymbol \Psi} \newcommand{\S}{\boldsymbol \Sigma} \newcommand{\W}{\mathbf W} \newcommand{\I}{\mathbf I} \newcommand{\w}{\mathbf w} \newcommand{\u}{\mathbf u} \newcommand{\0}{\mathbf 0} \z &\sim \mathcal N(\0,\I) \\ \x|\z &\sim \mathcal N(\W_x \z + \boldsymbol \m_x, \P_x)\\ \y|\z &\sim \mathcal N(\W_y \z + \boldsymbol \m_y, \P_y) \end{align}$

Aqui covariâncias de ruído e são matrizes simétricas arbitrárias de classificação completa. $\P_x$ $\P_y$

Se considerarmos a variável latente unidimensional , suponha que todas as médias sejam zero e combine e em um vetor, obtemos: $z$ $\m_x=\m_y=0$ $\x$ $\y$

(\begin{matrix} x \\ y \end{matrix}) \sim N (0, Σ), Σ = (\begin{matrix} w_{x} w_{x}^{⊤} + Ψ_{x} & w_{x} w_{y}^{⊤} \\ w_{y} w_{x}^{⊤} & w_{y} w_{y}^{⊤} + Ψ_{y} \end{matrix}) .

$\begin{pmatrix} \x\\ \y\end{pmatrix}\sim\mathcal N (\0,\S),\quad\quad\quad\S=\begin{pmatrix}\w_x\w_x^\top+\P_x & \w_x\w_y^\top \\ \w_y\w_x^\top & \w_y\w_y^\top+\P_y\end{pmatrix}.$

Bach & Jordan provaram que isso é equivalente ao CCA padrão. Especificamente, a solução de máxima verossimilhança (ML) é dada por onde são matrizes de covariância de amostra de ambos os conjuntos de dados, é o primeiro par de eixos canônicos e são arbitrários números (ambos entre e ), dando a primeira correlação canônica como um produto.

w_{i} = Σ_{i} u_{i} m_{i},

$\w_i = \S_i\u_i m_i,$

Σ_{i}

$\S_i$

u_{i}

$\u_i$

m_{x} m_{y} = ρ_{1}

$m_x m_y = \rho_1$

0

$0$

1

$1$

Como você vê, não são diretamente iguais aos eixos do CCA, mas são dados por alguma transformação desses. Veja Bach & Jordan para mais detalhes. $\w_i$

Não tenho uma boa compreensão intuitiva do PCCA. Como você pode ver, a matriz de covariância cruzada entre e é modelada por , portanto, pode-se esperar ingenuamente que produza eixos PLS. A solução ML está, no entanto, relacionada aos eixos CCA. Provavelmente, isso se deve à estrutura diagonal do bloco de . $X$ $Y$ $\w_x \w_y^\top$ $\w_i$ $\P=\begin{pmatrix}\P_x & \0\\ \0 & \P_y\end{pmatrix}$

Não conheço nenhuma versão probabilística semelhante de RRR ou PLS e não consegui me apresentar a nenhuma delas. Observe que se é diagonal, obtemos FA no conjunto de dados combinado e, se é diagonal e isotrópico, obtemos PPCA no conjunto de dados combinado. Portanto, há uma progressão do CCA para o FA e para o PPCA, pois fica cada vez mais restrito. Não vejo que outras opções de possam ser razoáveis. $\P$ $X+Y$ $\P$ $\P$

— ameba
fonte

Resumindo: o que significa "isotrópico" em sua penúltima sentença?

— Gottfried Helms #

@Gottfried, isso significa que ele é diagonal e todos os elementos na diagonal são iguais, isto é . Vou editar para esclarecer.

\P = σ^{2} \I

$\P = \sigma^2 \I$

— Ameba

Entendo obrigado. Eu havia implementado uma estrutura desse tipo no meu programa pca / fator sem saber seu nome, com base em uma sugestão de S. Mulaik em seu livro de 1972. Bom saber ...

— Gottfried Helms