Por que usar laço de grupo em vez de laço?

13

Eu li que o laço de grupo é usado para seleção de variáveis e esparsidade em um grupo de variáveis. Eu quero saber a intuição por trás dessa afirmação.

Por que o laço de grupo é preferível ao laço?
Por que o caminho da solução do laço de grupo não é linear por partes?

— vendeta
fonte

1

O que eu entendo do Yuan e Lin (2006) que o laço é projetado para selecionar variáveis individuais, não a seleção fatorial. Portanto, o laço aborda o problema da ANOVA, onde o objetivo é selecionar importantes efeitos e interações importantes para uma previsão precisa, o que equivale à seleção de grupos de variáveis. O outro exemplo é do modelo aditivo com polinômio, em que cada componente é expresso como uma combinação linear de funções básicas das variáveis medidas originais

— Vendetta

11

Intuitivamente, o laço do grupo pode ser preferido ao laço, pois fornece um meio para incorporar (um certo tipo de) informações adicionais em nossa estimativa para o verdadeiro coeficiente . Como cenário extremo, considerando o seguinte: $\beta^*$

Com , coloque como suporte de . Considere o "Oracle" estimador $y \sim \mathcal{N} (X \beta^*, \sigma^2 I )$ $S = \{j : \beta^*_j \neq 0 \}$ $\beta^*$ que é o grupo lasso com dois grupos - um o verdadeiro suporte e um complemento. Deixe ser o menor valor de que faz . Devido à natureza da penalidade do laço do grupo, sabemos que em se move de para

\hat{β} = \arg min_{β} ‖ y - X β ‖_{2}^{2} + λ (| S |^{1 / 2} ‖ β_{S} ‖_{2} + (p - | S |)^{1 / 2} ‖ β_{S^{C}} ‖_{2}),

$\hat{\beta} = \arg\min_{\beta} \|y - X \beta\|_2^2 + \lambda \left( |S|^{1/2} \|\beta_S\|_2 + (p-|S|)^{1/2} \|\beta_{S^C}\|_2 \right),$

λ_{m a x}

$\lambda_{max}$

λ

$\lambda$

\hat{β} = 0

$\hat{\beta} = 0$

λ

$\lambda$

λ_{m a x}

$\lambda_{max}$

λ_{m a x} - ϵ

$\lambda_{max} - \epsilon$ (para alguns pequenos

), exactamente um grupo entrará em suporte de

, que é popularmente considerado como uma estimativa para

. Devido ao nosso agrupamento, com alta probabilidade, o grupo selecionado será

, e teremos feito um trabalho perfeito.

ϵ > 0

$\epsilon > 0$

\hat{β}

$\hat{\beta}$

S

$S$

S

$S$

Na prática, não selecionamos os grupos tão bem. No entanto, os grupos, apesar de serem mais refinados do que o cenário extremo acima, ainda nos ajudarão: a escolha ainda seria feita entre um grupo de covariáveis verdadeiras e um grupo de covariáveis falsas. Ainda estamos pegando força emprestada.

Isso é formalizado aqui . Eles mostram, sob algumas condições, que o limite superior do erro de previsão do laço do grupo é menor que o limite inferior do erro de previsão do laço simples. Ou seja, eles provaram que o agrupamento melhora nossa estimativa.

$L(\beta) = \|y - X \beta\|_2^2$ $J(\beta) = \sum_{g \in G} |g|^{1/2} \|\beta_g\|_2$

{(\nabla^{2} L (\hat{β}) + λ \nabla^{2} J (\hat{β}))}^{- 1} \nabla J (\hat{β})

$\left( \nabla^2L(\hat{\beta}) + \lambda \nabla^2 J(\hat{\beta}) \right)^{-1} \nabla J(\hat{\beta})$

J

$J$

— user795305
fonte

2

Faz muito sentido agora. Muito obrigado pela sua resposta.

— Vendetta

4

A resposta de Ben é o resultado mais geral. Mas a resposta intuitiva ao OP é motivada pelo caso de preditores categóricos, que geralmente são codificados como múltiplas variáveis fictícias: uma para cada categoria. Em muitas análises, faz sentido considerar essas variáveis fictícias (representando um preditor categórico) juntas, e não separadamente.

Se você tem uma variável categórica com, digamos, cinco níveis, um laço reto pode deixar dois dentro e três fora. Como você lida com isso de uma maneira baseada em princípios? Decida votar? Literalmente, use as variáveis dummy em vez das categóricas mais significativas? Como sua codificação fictícia afeta suas escolhas?

Como se costuma dizer na introdução do laço do grupo para regressão logística , ele menciona:

Já para o caso especial da regressão linear, quando não apenas preditores (fatores) contínuos, mas também categóricos estão presentes, a solução do laço não é satisfatória, pois apenas seleciona variáveis fictícias individuais em vez de fatores inteiros. Além disso, a solução do laço depende de como as variáveis dummy são codificadas. A escolha de diferentes contrastes para um preditor categórico produzirá soluções diferentes em geral.

Como Ben ressalta, também existem vínculos mais sutis entre os preditores que podem indicar que eles devem entrar ou sair juntos. Mas as variáveis categóricas são o filho do pôster do laço de grupo.

— Wayne
fonte

@ Ben: Hmmm ... eu realmente não consigo entender o primeiro comentário do OP, parece que é uma resposta a um comentário excluído? A pergunta em si e seu título - que é o que a maioria dos telespectadores lerá - parece ser uma pergunta geral. Certamente vou excluir minha resposta se a pergunta e o título forem alterados para algo sobre "Quais aplicativos não óbvios existem para o laço agrupado além do caso de variáveis categóricas?"

— 611 Wayne

OK. Eu gosto do seu ponto de vista sobre como o uso de laço simples é um fator que faz as estimativas dependerem da codificação dos fatores! Eu já só pensava do grupo lasso como nos dando uma espécie de "dispersão de medição" em vez de uma "dispersão parâmetro" (ou seja, devemos ter para medir o fator ou não -. Todos os níveis devem ser selecionados ou nenhum)

— user795305