No sensor comprimido, existe uma garantia do teorema de que possui uma solução esparsa exclusiva c (consulte o apêndice para obter mais detalhes).

Existe um teorema semelhante para o laço? Se existe um teorema, ele não apenas garantirá a estabilidade do laço, mas também fornecerá ao laço uma interpretação mais significativa:

laço pode descobrir o vetor de coeficiente de regressão esparso $c$ que é usado para gerar a resposta $y$ por $y = Xc$ .

Há duas razões pelas quais faço essa pergunta:

1. Eu acho que 'laço favorece uma solução esparsa' não é uma resposta para o porquê de usar laço para seleção de recursos, já que não podemos nem dizer qual é a vantagem dos recursos que selecionamos.

2. Aprendi que o laço é notório por ser instável na seleção de recursos. Na prática, precisamos executar amostras de bootstrap para avaliar sua estabilidade. Qual é a razão mais crucial que causa essa instabilidade?

Apêndice:

Dado $X_{N \times M} = (x_1, \cdots, x_M)$ . $c$ é um vetor $\Omega$ -parse ( $\Omega \leqslant M$ ). O processo $y = Xc$ gera a resposta $y$ . Se $X$ tiver a NSP (propriedade de espaço nulo) da ordem $\Omega$ e a matriz de covariância de $X$ não tiver autovalor próximo de zero, haverá uma solução exclusiva para

O que esse teorema também diz é que, se não possui o NSP de ordem , é simplesmente impossível resolver .$X$$\Omega$$\text{argmin}_{c: y = Xc} \Vert c \Vert_1$

EDITAR:

Depois de receber essas ótimas respostas, percebi que estava confuso ao fazer essa pergunta.

Por que essa pergunta é confusa:

Li um artigo de pesquisa no qual temos que decidir quantos recursos (colunas) a matriz de design terá (os recursos auxiliares são criados a partir dos recursos principais). Como é um problema típico de , espera-se que seja bem construído para que a solução do laço possa ser uma boa aproximação da solução esparsa real.$X_{N \times M}$$n < p$$D$

O raciocínio é feito a partir do teorema que mencionei no apêndice: Se pretendemos encontrar uma solução separada , é melhor ter o NSP de ordem .$\Omega$$c$$X$$\Omega$

Para uma matriz , se for violado, então$N \times M$$N > C \Omega \ln M$

nenhuma recuperação estável e robusta de de e é possível$c$$D$$P$

$D$ corresponde a , corresponde a$X$$P$$y$

... como esperado do relacionamento , a seleção do descritor se torna mais instável, ou seja, para diferentes conjuntos de treinamento, o descritor selecionado geralmente difere ...$N = C \Omega \ln M$

A segunda citação é a parte que me confunde. Parece-me que quando a desigualdade é violada, não é apenas a solução talvez não única (não mencionada), mas o descritor também se tornará mais instável.

ATUALIZAR

Veja neste segundo post o feedback do McDonald's sobre minha resposta, onde a noção de consistência de risco está relacionada à estabilidade.

1) Exclusividade vs estabilidade

Sua pergunta é difícil de responder porque menciona dois tópicos muito diferentes: exclusividade e estabilidade .

• Intuitivamente, uma solução é única se determinado conjunto de dados fixo, o algoritmo sempre produz os mesmos resultados. A resposta de Martin cobre este ponto em grande detalhe.

• Por outro lado, a estabilidade pode ser intuitivamente entendida como aquela em que a previsão não muda muito quando os dados de treinamento são modificados levemente.

A estabilidade se aplica à sua pergunta porque a seleção do recurso Lasso é (geralmente) realizada por meio da validação cruzada, portanto, o algoritmo Lasso é realizado em diferentes dobras de dados e pode gerar resultados diferentes a cada vez.

Estabilidade e Teorema do Almoço Gratuito

Usando a definição daqui, se definirmos estabilidade uniforme como:

Um algoritmo possui estabilidade uniforme em relação à função de perda se o seguinte for válido:$\beta$$V$

$$\forall S \in Z^m \ \ \forall i \in \{ 1,...,m\}, \ \ \sup | > V(f_s,z) - V(f_{S^{|i},z}) |\ \ \leq \beta$$

Considerado como uma função de , o termo pode ser escrito como . Dizemos que o algoritmo é estável quando diminui como .$m$$\beta$$\beta_m$$\beta_m$$\frac{1}{m}$

então o "Teorema do Almoço Gratuito, Xu e Caramis (2012)" afirma que

Se um algoritmo for escasso , no sentido de identificar recursos redundantes, esse algoritmo não é estável (e a estabilidade uniforme vinculada não chega a zero). [...] Se um algoritmo é estável, não há esperança de que ele seja escasso. (páginas 3 e 4)$\beta$

Por exemplo, a regressão regularizada é estável e não identifica recursos redundantes, enquanto a regressão regularizada (Lasso) é instável. $L_2$$L_1$

Uma tentativa de responder sua pergunta

Eu acho que 'laço favorece uma solução esparsa' não é uma resposta para por que usar laço para a seleção de recursos

• Discordo, a razão pela qual o Lasso é usado para a seleção de recursos é que ele produz uma solução esparsa e pode mostrar que possui a propriedade IRF, ou seja, Identifica Recursos Redundantes.

Qual é a razão mais crucial que causa essa instabilidade

• O Teorema do Almoço Gratuito

Indo além

Isso não quer dizer que a combinação de Validação Cruzada e Lasso não funcione ... de fato, foi demonstrado experimentalmente (e com muita teoria de suporte) que funcionou muito bem sob várias condições. As principais palavras-chave aqui são consistência , risco, desigualdades no oráculo etc.

Os slides e artigo a seguir de McDonald e Homrighausen (2013) descrevem algumas condições sob as quais a seleção de recursos do Lasso funciona bem: slides e papel: "O laço, persistência e validação cruzada, McDonald e Homrighausen (2013)" . O próprio Tibshirani também postou um grande conjunto de notas sobre escassez e regressão linear

As várias condições de consistência e seu impacto no Lasso são um tópico ativo de pesquisa e definitivamente não são questões triviais. Posso apontar alguns documentos de pesquisa relevantes:

• Palestras em vídeo sobre o teorema do almoço grátis, de Xu
• HM Bøvelstad et all, Uma comparação de abordagens de seleção de características para seleção de genes, (2007)
• Laço, persistência e validação cruzada, McDonald e Homrighausen (2013)
• Huang e Bowick, Resumo e discussão de: “Seleção de Estabilidade”
• Lim e Yu, Estabilidade de estimativa com validação cruzada, (2015)
• Palestra de Peter Buhlmann: Seleção de Estabilidade para Dados de Alta Dimensão (2008) e o documento que o acompanha
• Wang, Nan et tudo, Random Lasso, (2011)
• Stackexchange post: estabilidade Modelo Ao lidar com grandes , pequeno problema$p$$n$
• Roberts, Nowakm Estabilizando o laço contra a variabilidade de validação cruzada (2014), que argumenta que "laço de percentil, pode resultar em grandes reduções na instabilidade de seleção de modelos e no erro de seleção de modelos, comparado ao laço".
• Um impressionante conjunto de notas de Tibshirani e Wasserman sobre escassez e regressão linear

Comentários de Daniel J. McDonald

Professor assistente da Universidade de Indiana Bloomington, autor dos dois trabalhos mencionados na resposta original de Xavier Bourret Sicotte .

Sua explicação é, geralmente, bastante correta. Gostaria de salientar algumas coisas:

1. Nosso objetivo na série de trabalhos sobre CV e laço era provar que "Lasso + Validação Cruzada (CV)" funciona tão bem quanto "Lasso + ótimo "$\lambda$ . Em particular, queríamos mostrar que as previsões também funcionam (sem modelo). Para fazer afirmações sobre a recuperação correta dos coeficientes (encontrar os não esparsos corretos), é preciso assumir uma verdade esparsa, o que não queríamos fazer.

2. A estabilidade algorítmica implica consistência de risco (primeiro provado por Bousquet e Elisseeff, acredito). Por consistência do risco, quero dizer que ovai para zero onde f é ou o melhor preditor de alguma classe, se a classe for especificada incorretamente. Esta é apenas uma condição suficiente no entanto. É mencionado nos slides aos quais você vinculou como, essencialmente, “uma técnica de prova possível que não funcionará, já que o laço não é estável”.$||\hat{f}(X) - f(X)||$$E[Y|X]$

3. A estabilidade é apenas suficiente, mas não é necessária. Pudemos mostrar que, em algumas condições, o “laço + CV” prevê, assim como o “laço + ótimo ”. O artigo que você cita fornece as suposições mais fracas possíveis (as do slide 16, que permitem ), mas usa a forma restrita de laço em vez da versão Lagrangiana mais comum. Outro artigo ( http://www3.stat.sinica.edu.tw/statistica/J27N3/J27N34/J27N34.html ) usa a versão Lagrangiana. Também mostra que, em condições muito mais fortes, a seleção de modelos também funcionará. Um artigo mais recente ( https://arxiv.org/abs/1605.02214 ) de outras pessoas alega melhorar esses resultados (não o li com atenção).$\lambda$$p>n$

4. Em geral, como o laço (ou qualquer algoritmo de seleção) não é estável, é preciso uma análise mais cuidadosa e / ou suposições fortes para mostrar que “algoritmo + CV” selecionará o modelo correto. Não estou ciente das condições necessárias, embora isso seja extremamente interessante em geral. Não é muito difícil mostrar que, para lambda fixo, o preditor de laço é localmente Lipschitz no vetor (acredito que um ou mais trabalhos de Ryan Tibshirani fazem isso). Se alguém também pudesse argumentar que isso é verdade em , isso seria muito interessante e relevante aqui.$Y$$X_i$

O principal argumento que eu acrescentaria à sua resposta: "estabilidade" implica "consistência de risco" ou "precisão de previsão". Também pode implicar "consistência de estimativa de parâmetros" sob mais pressupostos. Mas o teorema do almoço grátis significa "seleção" "não estável". Laço não é estável, mesmo com lambda fixo. Certamente é instável quando combinado com CV (de qualquer tipo) .No entanto, apesar da falta de estabilidade, ainda é consistente com o risco e a seleção é consistente com ou sem CV - A singularidade é imaterial aqui.$\rightarrow$

O Lasso, diferentemente da regressão de Ridge (ver, por exemplo, Hoerl e Kennard, 1970; Hastie et al., 2009) nem sempre tem uma solução única, embora normalmente tenha. Depende do número de parâmetros no modelo, se as variáveis ​​são contínuas ou discretas ou não e a classificação da sua matriz de design. Condições para exclusividade podem ser encontradas em Tibshirani (2013).

Referências:

Hastie, T., Tibshirani, R. e Friedman, J. (2009). Os elementos da aprendizagem estatística . Série Springer nas estatísticas. Springer, Nova Iorque, 11ª impressão, 2ª edição.

Hoerl, AE e Kennard, RW (1970). Regressão de Ridge: estimativa enviesada para problemas não-ortogonais. Technometrics , 12 (1), 55-67.

Tibshirani, RJ (2013). O problema do laço e a singularidade. Revista Eletrônica de Estatística , 7, 1456-1490.

O que causa a não-exclusividade.

Para os vetores (em que é um sinal que indica se a alteração de aumentará ou diminuirá ), sempre que eles forem afinamente dependentes:$s_ix_i$$s_i$$c_i$$\Vert c \Vert_1$

há um número infinito de combinações que não alteram a solução e a norma .$c_i + \gamma\alpha_i$$Xc$$\Vert c\Vert_1$

Por exemplo:

possui para as soluções:$\Vert c \Vert_1 = 1$

com$0\leq \gamma \leq \frac{1}{2}$

Podemos substituir o vetor usando$x_2$$x_2 = 0.5 x_1 + 0.5 x_3$

Situações sem essa condição

No artigo de Tibshirani (da resposta de Phil), três condições suficientes são descritas para o laço ter uma solução única.

1. Linearmente independente Quando o espaço nulo é nulo ou equivalente quando a classificação de é igual ao número de colunas (M). Nesse caso, você não tem combinações lineares como acima.$X$$X$

2. Afinamente independente Quando as colunas estão na posição geral.$Xs$

   Ou seja, nenhuma coluna representa pontos em um plano dimensional . Um plano dimensional k-2 pode ser parametrizado por qualquer ponto como com . Com um ponto nesse mesmo plano, você teria as condições com$k$$k-2$$k-1$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 1$$k$$s_jx_j$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 0$

   Observe que no exemplo as colunas , e estão em uma única linha. (No entanto, é um pouco estranho aqui porque os sinais podem ser negativos, por exemplo, a matriz acabou de bem como nenhuma solução exclusiva)$x_1$$x_2$$x_3$$\left[ [2 \, 1] \, [1 \, 1] \, [-0 \, -1] \right]$

3. Quando as colunas são de uma distribuição contínua, é improvável (probabilidade quase zero) que você tenha colunas de fora da posição geral.$X$$X$

   Contrastando com isso, se as colunas são uma variável categórica, essa probabilidade não é necessariamente quase zero. A probabilidade de uma variável contínua ser igual a algum conjunto de números (isto é, os planos correspondentes à extensão afim dos outros vetores) é 'quase' zero. Mas, este não é o caso de variáveis ​​discretas.$X$