A regressão de ângulo mínimo mantém as correlações monotonicamente decrescentes e vinculadas?

Estou tentando resolver um problema para regressão de menor ângulo (LAR). Este é um problema 3.23 na página 97 de Hastie et al., Elements of Statistical Learning, 2nd. ed. (5ª impressão) .

Considere um problema de regressão com todas as variáveis e respostas com média zero e desvio padrão um. Suponha também que cada variável tenha correlação absoluta idêntica com a resposta:

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

Seja o coeficiente de mínimos quadrados de em e deixe para . $\hat{\beta}$ $\mathbf{y}$ $\mathbf{X}$ $\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$ $\alpha\in[0,1]$

Me pedem para mostrar que estou tendo problemas com isso. Observe que isso pode basicamente dizer que as correlações de cada com os resíduos permanecem iguais em magnitude à medida que avançamos em direção a .

\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ | = (1 - α) λ, j = 1, . . ., p

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$

x_{j}

$x_j$

u

$u$

Também não sei como mostrar que as correlações são iguais a:

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

Qualquer ponteiro seria muito apreciado!

— Belmont
fonte

@ Belmont, o que é ? Você poderia fornecer mais contexto sobre o seu problema? O link para o artigo com propriedades padrão do LAR, por exemplo, ajudaria muito.

u (α)

$u(\alpha)$

— mpiktas

@ Belmont, isso parece um problema de Hastie et al., Elements of Statistical Learning , 2nd. ed. Isso é lição de casa? Nesse caso, você pode adicionar essa tag.

— cardeal

@ Belmont, agora que o @ cardinal deu uma resposta completa, você pode especificar o que realmente é o LAR, para referência futura? A julgar pela resposta, trata-se da manipulação padrão de produtos com regressões de mínimos quadrados, dadas algumas restrições iniciais. Não deve haver um nome especial para ele sem motivo sério.

— mpiktas

@mpiktas, é um algoritmo stagewise, portanto, toda vez que uma variável entra ou sai do modelo no caminho da regularização, o tamanho (ou seja, cardinalidade / dimensão) de cresce ou diminui respectivamente e uma "nova" estimativa de LS é usada com base em as variáveis atualmente "ativas". No caso do laço, que é um problema de otimização convexa, o procedimento é explorar essencialmente uma estrutura especial nas condições KKT para obter uma solução muito eficiente. Também existem generalizações para, por exemplo, a regressão logística baseada no IRLS e Heine-Borel (para provar convergência no número finito de etapas.)

β

$\beta$

— cardeal

@ Belmont -1, como comprei recentemente o livro de Hastie, posso confirmar que este é um exercício dele. Então, eu estou lhe dando um grande -1, já que você nem consegue dar todas as definições, nem estou falando em dar a referência.

— Mvctas

Este é o problema 3.23 na página 97 de Hastie et al., Elements of Statistical Learning , 2nd. ed. (5ª impressão) .

A chave para este problema é uma boa compreensão dos mínimos quadrados comuns (isto é, regressão linear), particularmente a ortogonalidade dos valores ajustados e dos resíduos.

Ortogonalidade lema : Let ser o matriz de design, o vector de resposta e os parâmetros (true). Assumindo que é de classificação completa (o que faremos ao longo), as estimativas de OLS de são . Os valores ajustados são . Então . Ou seja, os valores ajustados são ortogonais aos resíduos. Isto ocorre desde que . $X$ $n \times p$ $y$ $\beta$ $X$ $\beta$ $\hat{\beta} = (X^T X)^{-1} X^T y$ $\hat{y} = X (X^T X)^{-1} X^T y$ $\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$ $X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$

Agora, deixe ser um vector de coluna de modo a que é a ésima coluna de . As condições assumidas são: $x_j$ $x_j$ $j$ $X$

$\frac{1}{N} \langle x_j, x_j \rangle = 1$ para cada , , $j$ $\frac{1}{N} \langle y, y \rangle = 1$
$\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$ que indica um vetor de comprimento , e $1_p$ $p$
$\frac{1}{N} | \langle x_j, y \rangle | = \lambda$ para todos . $j$

Observe que, em particular , a última instrução do lema da ortogonalidade é idêntica a para todos os . $\langle x_j, y - \hat{y} \rangle = 0$ $j$

As correlações estão vinculadas

Agora, . Então, e o segundo termo no lado direito é zero pelo lema da ortogonalidade , então conforme desejado. O valor absoluto das correlações é apenas $u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$

⟨ x_{j}, y - u (a) ⟩ = ⟨ x_{j}, (1 - α) y + α y - α \hat{y} ⟩ = (1 - α) ⟨ x_{j}, y ⟩ + α ⟨ x_{j}, y - \hat{y} ⟩,

$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$

\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ | = (1 - α) λ,

$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$

{\hat{ρ}}_{j} (α) = \frac{\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ |}{\sqrt{\frac{1}{N} ⟨ x_{j}, x_{j} ⟩} \sqrt{\frac{1}{N} ⟨ y - u (α), y - u (α) ⟩}} = \frac{(1 - α) λ}{\sqrt{\frac{1}{N} ⟨ y - u (α), y - u (α) ⟩}}

$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$

Nota : O lado direito acima é independente de e o numerador é igual à covariância, pois assumimos que todos os 's e estão centralizados (portanto, em particular, nenhuma subtração da média é necessária ) $j$ $x_j$ $y$

Qual é o objetivo? À medida que aumenta, o vetor de resposta é modificado, de modo que ele se aproxima da solução de mínimos quadrados ( restrita! ) Obtida da incorporação apenas dos primeiros parâmetros no modelo. Isso modifica simultaneamente os parâmetros estimados, pois são simples produtos internos dos preditores com o vetor de resposta (modificado). A modificação assume uma forma especial. Mantém a (magnitude das) correlações entre os preditores e a resposta modificada a mesma ao longo do processo (mesmo que o valor da correlação esteja mudando). Pense no que isso está fazendo geometricamente e você entenderá o nome do procedimento! $\alpha$ $p$

Forma explícita da correlação (absoluta)

Vamos nos concentrar no termo no denominador, pois o numerador já está no formato necessário. Temos

⟨ y - u (α), y - u (α) ⟩ = ⟨ (1 - α) y + α y - u (α), (1 - α) y + α y - u (α) ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$

Substituindo em e usando a linearidade do produto interno, obtemos $u(\alpha) = \alpha \hat{y}$

⟨ y - u (α), y - u (α) ⟩ = (1 - α)^{2} ⟨ y, y ⟩ + 2 α (1 - α) ⟨ y, y - \hat{y} ⟩ + α^{2} ⟨ y - \hat{y}, y - \hat{y} ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$

Observe aquilo

$\langle y, y \rangle = N$ por suposição,
$\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$ , aplicando o lema da ortogonalidade (mais uma vez) ao segundo termo no meio; e,
$\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$ por definição.

Juntando tudo isso, você notará que temos

{\hat{ρ}}_{j} (α) = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} + \frac{α (2 - α)}{N} R S S}} = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} (1 - \frac{R S S}{N}) + \frac{1}{N} R S S}}

$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$

Para finalizar, e, portanto, fica claro que está monotonicamente diminuindo em e como . $1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$ $\hat{\rho}_j(\alpha)$ $\alpha$ $\hat{\rho}_j(\alpha) \downarrow 0$ $\alpha \uparrow 1$

Epílogo : concentre-se nas idéias aqui. Existe realmente apenas um. O lema da ortogonalidade faz quase todo o trabalho para nós. O resto é apenas álgebra, notação e a capacidade de colocar esses dois últimos em funcionamento.

— cardeal
fonte

@ cardinal, +1. A resposta são magnitudes melhores que a pergunta.

— mpiktas

@ cardinal, convém alterar o link para amazon ou outro site. Penso que a ligação ao livro completo pode suscitar algumas questões de direitos autorais.

— Mvctas

@mpiktas, não. Sem problemas de direitos autorais. Esse é o site oficial do livro. Os autores obtiveram permissão da Springer para disponibilizar o PDF gratuitamente on-line. (Veja a nota nesse sentido no site.) Acho que eles entenderam a idéia de Stephen Boyd e seu texto de otimização convexa . Esperamos que essa tendência ganhe força nos próximos anos. Desfrutar!

— cardeal

@ cardinal, ooh obrigado maciço! Isso é muito generoso dos autores.

— Mvctas

@mpiktas, é de longe o livro mais popular da série Springer em estatística. Parece bom em um iPad. O que me lembra - eu também deveria baixar o texto de Boyd. Felicidades.

— cardeal