Aplicando regressão de crista para um sistema de equações sub-determinado?

Quando , o problema dos mínimos quadrados que impõe uma restrição esférica δ no valor de β pode ser escrito como min ‖ y - X p ‖ 2 2 s . t . ‖ Β ‖ 2 2 ≤ ô 2 para um sistema sobredeterminado. ‖ ⋅ ‖ 2 representa a norma euclidiana do vector.$y = X\beta + e$$\delta$$\beta$

$$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$$ $\|\cdot\|_2$

A solução correspondente a é dada por β = ( X t X + λ I ) - 1 X T Y , que pode ser derivada a partir do método de multiplicadores de Lagrange ( λ é o multiplicador): L ( β , λ ) = ‖ Y - X β ‖ 2 2 + λ ( ‖ β ‖ 2 2 - δ 2$\beta$

$$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$$ $\lambda$ $$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$$

Entendo que existe uma propriedade que O lado direito se assemelha ao pseudo-inverso da matriz regressora X no caso sub-determinado (com o parâmetro de regularização adicionado, λ ). Isso significa que a mesma expressão pode ser usada para aproximar

$$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$$ $X$$\lambda$$\beta$para o caso subdeterminado? Existe uma derivação separada para a expressão correspondente no caso subdeterminado, pois a restrição de restrição esférica é redundante com a função objetivo (norma mínima de ):$\beta$

$$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$$

Começando com a formulação do problema de regressão de cume como

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

você pode escrever o problema como

$\min \| A\beta - b \|_{2}^{2}$

Onde

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

e

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

$A$$\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

$X$$y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

$X$$X$

$\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

Assim, também temos a opção de usar

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$

Para responder suas perguntas específicas:

1. $\mbox{rank}(X)$$X$$XX^{T}$$X^{T}X$

2. Não conheço nenhuma derivação da versão alternativa da fórmula que comece com algum outro problema de mínimos quadrados e use as equações normais. De qualquer forma, você pode derivá-lo de maneira direta usando um pouco de álgebra.

É possível que você esteja pensando no problema de regressão de cume na forma

$\min \| \beta \|_{2}^{2}$

sujeito a

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

$\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$