Qual é a conexão entre mínimos quadrados parciais, regressão de classificação reduzida e regressão de componentes principais?

A regressão de classificação reduzida e a regressão de componentes principais são apenas casos especiais de mínimos quadrados parciais?

Este tutorial (Página 6, "Comparação de objetivos") afirma que, quando fazemos mínimos quadrados parciais sem projetar X ou Y (ou seja, "não parcial"), ele se torna uma regressão de classificação reduzida ou uma regressão de componente principal, correspondentemente.

Uma declaração semelhante é feita nesta página de documentação do SAS , nas seções "Regressão de classificação reduzida" e "Relações entre métodos".

Uma questão de acompanhamento mais fundamental é se eles têm modelos probabilísticos subjacentes semelhantes.

— Minkov
fonte

Este é realmente um problema importante.

— Steve

@Steve. Obrigado. Veja meus comentários acima para uma introdução mais detalhada.

— Minkov 11/04

Esses são três métodos diferentes, e nenhum deles pode ser visto como um caso especial de outro.

Formalmente, se e são conjuntos de dados preditores centralizados ( ) e de resposta ( ) e se procurarmos o primeiro par de eixos, para e $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$ $\mathbf w \in \mathbb R^p$ $\mathbf X$ $\mathbf v \in \mathbb R^q$ para , então esses métodos maximizar as seguintes quantidades: $\mathbf Y$

\begin{aligned} P C A : & Var (X w) \\ R R R : & {Corr}^{2} (X w, Y v) \cdot Var (Y v) \\ P L S : & Var (X w) \cdot {Corr}^{2} (X w, Y v) \cdot Var (Y v) = {Cov}^{2} (X w, Y v) \\ C C A : & {Corr}^{2} (X w, Y v) \end{aligned}

$\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$

(Adicionei análise de correlação canônica (CCA)) a esta lista.

Suspeito que a confusão possa ser porque no SAS todos os três métodos parecem ser implementados através da mesma função PROC PLScom parâmetros diferentes. Portanto, pode parecer que todos os três métodos são casos especiais de PLS, porque é assim que a função SAS é nomeada. Este é, no entanto, apenas um nome infeliz. Na realidade, PLS, RRR e PCR são três métodos diferentes que acabam de ser implementados no SAS em uma função que por algum motivo é chamada PLS.

Os dois tutoriais aos quais você se vinculou são muito claros sobre isso. A página 6 do tutorial de apresentação indica os objetivos dos três métodos e não diz que o PLS "se torna" RRR ou PCR, ao contrário do que você reivindicou na sua pergunta. Da mesma forma, a documentação do SAS explica que três métodos são diferentes, fornecendo fórmulas e intuição:

[A] regressão dos componentes principais seleciona fatores que explicam o máximo possível de variação preditiva, a regressão de classificação reduzida seleciona fatores que explicam o máximo possível de variação de resposta e os mínimos quadrados parciais equilibram os dois objetivos, buscando fatores que explicam a variação da resposta e do preditor .

Existe até uma figura na documentação do SAS mostrando um bom exemplo de brinquedo em que três métodos fornecem soluções diferentes. Neste exemplo de brinquedo, existem dois preditores e e uma variável de resposta . A direção em mais correlacionada com é ortogonal à direção da variação máxima em $x_1$ $x_2$ $y$ $X$ $y$ $X$ . Portanto, PC1 é ortogonal ao primeiro eixo RRR e o eixo PLS está em algum lugar no meio.

Pode-se adicionar uma penalidade de crista à função perdida de RRR, obtendo regressão de classificação reduzida de crista, ou RRRR. Isso puxará o eixo de regressão na direção PC1, um pouco semelhante ao que o PLS está fazendo. No entanto, a função de custo para RRRR não pode ser gravada em um formulário PLS, portanto, elas permanecem diferentes.

Observe que, quando há apenas uma variável preditora , CCA = RRR = regressão usual. $y$

— ameba diz Restabelecer Monica
fonte

A mesa no final é muito útil. Com base nessa tabela, pode-se considerar PCA, RRR e CCA como "casos especiais" de PLS se você também acha que bicicletas e monociclos são casos especiais de um triciclo. Eu não costumo pensar assim.

— EdM

@ Edm, acho que se pode dizer que todos esses métodos são casos especiais de algum método unificador que realmente não tem nome (mas pode-se inventar!). Mas o nome "PLS" já tem um significado estabelecido e esse significado não inclui nenhuma dessas outras técnicas.

— Ameba diz Reinstate Monica

E obrigada! Eu decidi agora para mover a tabela para o início da resposta :)

— ameba diz Reintegrar Monica

X

$X$

Y

$Y$

V a r (X w)^{α} \cdot C o r r (X w, Y v)^{β} \cdot V a r (Y v)^{γ}

$\mathrm{Var}(Xw)^\alpha\cdot \mathrm{Corr}(Xw,Yv)^\beta\cdot \mathrm{Var}(Yv)^\gamma$ e obter diversos métodos para vário valores de alfa, beta e gama. Não pense que é muito útil.

— Ameba diz Reinstate Monica

@Moskowitz: Em geral, quando as pessoas falam sobre o método A como um "caso especial" do método B, elas significam que B é mais geral e A é equivalente a B com alguns parâmetros específicos. Eles não significam que A dê os mesmos resultados que B sob algumas condições especiais no conjunto de dados. Daí a minha resposta à sua pergunta.

— Ameba diz Reinstate Monica