Regressão linear quando você conhece apenas , não diretamente

Suponhamos que .$X\beta =Y$

Não sabemos exatamente, apenas a sua correlação com cada preditor, .$Y$$X^\mathrm{t}Y$

A solução de mínimos quadrados ordinários (OLS) é e não há um problema.$\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y$

Mas suponha que seja quase singular (multicolinearidade) e você precise estimar o parâmetro ideal da crista. Todos os métodos parece precisar os valores exatos de .$X^\mathrm{t}X$$Y$

Existe um método alternativo quando apenas é conhecido?$X^\mathrm{t}Y$

Esta é uma pergunta interessante. Surpreendentemente, é possível fazer algo sob certas premissas, mas há uma potencial perda de informações sobre a variação residual. Depende de quanto é perdido.$X$

Vamos considerar a seguinte decomposição do valor singular de com matriz e com colunas ortonormais, uma matriz diagonal com valores singulares positivos na diagonal e a matriz ortogonal. Então as colunas de formam uma base ortonormal para o espaço da coluna de e é o vetor de coeficientes para a projeção de neste espaço da coluna quando expandido no$\newcommand{\t}{^\mathrm{t}}X = UDV\t$$X$$U$$n \times p$$D$$d_1 \geq d_2 \geq ... \geq d_p > 0$$V$$p \times p$$U$$X$

$$Z = U\t Y = D^{-1} V\t V D U\t Y = D^{-1} V\t X\t Y$$ $Y$$U$Base emA partir da fórmula vemos que é calculável a partir do conhecimento de e única.$Z$$X$$X\t Y$

Como o preditor de regressão de crista para um dado pode ser calculado como , vemos que os coeficientes para o preditor de regressão de crista na base da coluna são Agora, assumimos a distribuição de que tem média dimensional e matriz de covariância . Então tem média dimensional e matriz de covariância . Se imaginarmos um independente$\lambda$

$$\hat{Y} = X(X\t X + \lambda I)^{-1} X\t Y = U D(D^2 + \lambda I)^{-1} D U\t Y = U D(D^2 + \lambda I)^{-1} D Z$$ $U$ $$\hat{Z} = D (D^2 + \lambda I)^{-1} D Z.$$ $Y$$n$$\xi$$\sigma^2 I_n$$Z$$p$$U\t \xi$$\sigma^2 I_p$$Y^{\text{New}}$ com a mesma distribuição que (tudo condicionalmente em partir daqui) o tem o mesmo distribuição como e é independente e Aqui a terceira igualdade segue pela ortogonalidade de e e a quarta pelo fato de que$Y$$X$$Z^{\text{New}} = U\t Y^{\text{New}}$$Z$ $$\begin{eqnarray*} E ||Y^{\text{New}} - \hat{Y}||^2 &= & E || Y^{\text{New}} - U Z^{\text{New}} + U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & E || Y^{\text{New}} - U Z^{\text{New}}||^2 + E||U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & \text{Err}_0 + E||Z^{\text{New}} - \hat{Z} ||^2. \end{eqnarray*}$$ $Y^{\text{New}} - U Z^{\text{New}}$$U Z^{\text{New}} - U \hat{Z}$$U$ tem colunas ortonormais. A quantidade é um erro sobre o qual não podemos obter informações, mas também não depende de . Para minimizar o erro de previsão no lado esquerdo, temos que minimizar o segundo termo no lado direito.$\text{Err}_0$$\lambda$

Por um cálculo padrão Aqui é conhecido como graus de liberdade efetivos para regressão de crista com o parâmetro . Um estimador imparcial de é

$$\begin{eqnarray*} E||Z^{\text{New}} - \hat{Z} ||^2 &= & E||Z - \hat{Z}||^2 + 2 \sum_{i=1}^p \text{cov}(Z_i, \hat{Z}_i) \\ & = & E||Z - \hat{Z}||^2 + 2 \sigma^2 \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}}_{\text{df}(\lambda)}. \end{eqnarray*}$$ $\text{df}(\lambda)$$\lambda$$E||Z - \hat{Z}||^2$ $$\text{err}(\lambda) = ||Z - \hat{Z}||^2 = \sum_{i=1}^p \left(1 - \frac{d_i^2}{d_i^2 + \lambda}\right)^2 Z_i^2.$$

Combinamos isso com o estimador (imparcial) de dado que conhecemos , que precisamos minimizar. Obviamente, isso só pode ser feito se conhecermos ou tivermos um palpite razoável ou estimador de .

$$\text{err}(\lambda) + 2 \sigma^2 \text{df}(\lambda)$$ $E||Z^{\text{New}} - \hat{Z} ||^2$$\sigma^2$$\sigma^2$$\sigma^2$

Estimar pode ser mais problemático. É possível mostrar que Portanto, se é possível escolher tão pequeno que o viés quadrado pode ser ignorado, podemos tentar estimar como Se este trabalho depende muito .$\sigma^2$

$$E||Z - \hat{Z}||^2 = \sigma^2\left(p - \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}\left(2 - \frac{d_i^2}{d_i^2 + \lambda}\right)}_{\text{d}(\lambda)}\right) + \text{bias}(\lambda)^2.$$ $\lambda$$\sigma^2$ $$\hat{\sigma}^2 = \frac{1}{p-\text{d}(\lambda)} ||Z - \hat{Z}||^2.$$ $X$

Para alguns detalhes, consulte a Seção 3.4.1 e o Capítulo 7 no ESL ou talvez até o Capítulo 2 no GAM .

Defina como na pergunta e para vários parâmetros e define dos rótulos das amostras. Então é computável, pois o desconhecido desaparece ao expandir os dois normas.$β$$β(λ,K)=[(X^TX)_{KK}+λI]^{−1}(X^TY)_K$$\lambda$$K$$e(λ,K):=\|Xβ(λ,K)-Y\|^2-\|Xβ-Y\|^2$$\|Y\|^2$

Isso leva ao seguinte algoritmo:

• Calcule a para algumas escolhas do conjunto de treinamento .$e(λ,K)$$K$
• Plote os resultados em função de .$\lambda$
• Aceite o valor que a plotagem é mais plana.$\lambda$
• Use como estimativa final.$β^*=[X^TX+λI]^{−1}X^TY$