Quais são as vantagens da regressão gradual?

11

Estou experimentando uma regressão gradual por uma questão de diversidade na minha abordagem ao problema. Então, eu tenho 2 perguntas:

Quais são as vantagens da regressão gradual? Quais são seus pontos fortes específicos?
O que você acha da abordagem híbrida, na qual você usa a regressão passo a passo para selecionar recursos e depois aplica a regressão regular reunindo todos os recursos selecionados?

regression feature-selection stepwise-regression

— Barão Yugovich
fonte

15

A principal vantagem da regressão passo a passo é que ela é computacionalmente eficiente. No entanto, seu desempenho geralmente é pior que os métodos alternativos. O problema é que é muito ganancioso. Ao fazer uma seleção difícil no próximo regressor e 'congelar' o peso, ele faz escolhas localmente ideais a cada etapa, mas abaixo do ideal em geral. E não pode voltar a revisar suas escolhas passadas.

Até onde eu sei, a regressão gradual geralmente em comparação à regressão regularizada (LASSO), que tende a produzir melhores soluções. $l_1$

Tibshirani (1996) . Retração e seleção de regressão através do laço

O LASSO penaliza a norma dos pesos, o que induz esparsidade na solução (muitos pesos são forçados a zero). Isso realiza a seleção de variáveis (as variáveis 'relevantes' podem ter pesos diferentes de zero). O grau de escarsidade é controlado pelo termo penalidade, e algum procedimento deve ser usado para selecioná-lo (a validação cruzada é uma escolha comum). O LASSO é mais computacionalmente intensivo do que a regressão por etapas, mas existem vários algoritmos eficientes. Alguns exemplos são a regressão de ângulo mínimo ( LARS ) e uma abordagem baseada na descida de coordenadas . $l_1$

Uma abordagem semelhante à sugerida em (2) é chamada busca de correspondência ortogonal. É uma generalização da busca por correspondência, que é o nome da regressão gradual na literatura de processamento de sinais.

Pati et al. (1993) . Busca de correspondência ortogonal: aproximação de função recursiva com aplicações para decomposição de wavelets

Em cada iteração, o próximo melhor regressor é adicionado ao conjunto ativo. Em seguida, os pesos para todos os regressores no conjunto ativo são recalculados. Devido à etapa de reponderação, essa abordagem é menos ambiciosa (e tem melhor desempenho) do que a busca de correspondência regular / regressão passo a passo. Mas, ainda emprega uma heurística de busca gananciosa.

Todas essas abordagens (regressão por etapas, LASSO e busca de correspondência ortogonal) podem ser consideradas aproximações do seguinte problema:

min_{w} ‖ y - X w ‖_{2}^{2} s.t. ‖ w ‖_{0} \leq c

$\underset{w}{\min} \| y - X w \|_2^2 \quad \text{s.t. } \|w\|_0 \le c$

Em um contexto de regressão, as colunas de correspondem às variáveis independentes e à variável dependente. No processamento de sinal, as colunas de correspondem às funções e é um sinal a ser aproximado. O objetivo é encontrar um conjunto escasso de pesos que forneça a melhor aproximação (menos quadrados) de . A norma simplesmente conta o número de entradas diferentes de zero em . Infelizmente, esse problema é difícil para NP, portanto, algoritmos de aproximação devem ser usados na prática. A regressão passo a passo e a busca de correspondência ortogonal tentam resolver o problema usando uma estratégia de pesquisa gananciosa. O LASSO reformula o problema usando um relaxamento das $X$ $y$ $X$ $y$ $w$ $y$ $l_0$ $w$ $l_0$ norma para a norma. Aqui, o problema de otimização se torna convexo (e, portanto, tratável). E, embora o problema não seja mais idêntico, a solução é semelhante. Se bem me lembro, foi comprovado que tanto o LASSO quanto a busca de correspondência ortogonal recuperam a solução exata sob certas condições. $l_1$

— user20160
fonte

8

A seleção gradual não costuma ser uma boa ideia. Para entender o porquê, pode ser útil ler minha resposta aqui: Algoritmos para seleção automática de modelo .

No que diz respeito às vantagens, nos dias em que a pesquisa em todas as combinações possíveis de recursos era muito intensiva em termos computacionais para o manuseio dos computadores, a seleção gradual economizava tempo e era tratável. No entanto, observe que os problemas discutidos na minha resposta vinculada acima se aplicam tanto à regressão do 'melhor subconjunto'; portanto, passo a passo não produz uma boa solução, apenas uma solução ruim mais rapidamente.

Sua ideia de uma abordagem híbrida seria boa, desde que o segundo modelo (com os recursos selecionados) seja ajustado em um novo conjunto de dados .

— - Reinstate Monica
fonte

Com relação ao que o OP chamou de "abordagem híbrida" (não sei direito por que ele é híbrido), você quer dizer que é bom no sentido de que as estimativas dos coeficientes do modelo nos segundos novos conjuntos de dados devem ser boas (embora tendenciosas e problemáticas no dados originais), desde que o novo conjunto de dados seja grande o suficiente? É claro que seria um modelo ruim, porque foi selecionado de maneira ruim no primeiro conjunto de dados; simplesmente seus coeficientes seriam estimados em um conjunto de dados menos problemático.

— Björn

Além disso, muitas vezes ainda é impossível examinar todas as combinações possíveis, porque o número de variáveis diferentes em que temos dados cresce ainda mais rápido que o poder de computação, e as pessoas têm mais e mais idéias sobre o que incluir em seus modelos.

— Stephan Kolassa

Ler esse tópico continua a não ser útil.

— Mox

2

Acabei de fazer uma pesquisa no google para saber o que é regressão Stepwise. Não tenho certeza se entendo completamente, mas aqui está o meu primeiro pensamento

É ganancioso, por isso não pode produzir a boa solução como Lasso. Eu prefiro Lasso
É simples, fácil de usar, fácil de codificar
Depois de usar a regressão Stepwise, você já acaba com um modelo treinado que usa recursos selecionados, para que não precise usar outra etapa de regressão, como mencionado como abordagem híbrida

— Imbecil com raiva
fonte