Perguntas com a marcação «ridge-regression»

Eu já tenho uma idéia sobre prós e contras da regressão de cume e do LASSO. Para o LASSO, o termo de penalidade de L1 produzirá um vetor de coeficiente esparso, que pode ser visto como um método de seleção de recurso. No entanto, existem algumas limitações para o LASSO. …

11 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Eu apliquei alguns dados para encontrar a melhor solução de variáveis ​​do modelo de regressão usando regressão de cumeeira em R. Eu usei lm.ridgee glmnet(quando alpha=0), mas os resultados são muito diferentes, especialmente quando lambda=0. Supõe-se que ambos os estimadores de parâmetros tenham os mesmos valores. Então, qual é o …

11 r  regression  ridge-regression  glmnet 

Depois de ler o capítulo 3 nos Elementos de aprendizagem estatística (Hastie, Tibshrani & Friedman), perguntei-me se seria possível implementar os famosos métodos de encolhimento citados no título dessa pergunta, dada uma estrutura de covariância, ou seja, minimizar a (talvez mais geral ) quantidade ( y⃗ - Xβ⃗ )TV- 1( …

11 lasso  ridge-regression 

Seja A matriz de variáveis ​​independentes e B seja a matriz n × 1 correspondente dos valores dependentes. Na regressão cume, nós definimos um parâmetro λ de forma que: β = ( A T A + X I ) - 1 A T B . Agora vamos [USV] = SVD …

11 ridge-regression 

Atualmente, estou trabalhando em um projeto de modelagem preditiva: tentando aprender um modelo e fazer previsões em tempo real com base no modelo que aprendi offline. Comecei a usar a regressão de cume recentemente, porque li que a regularização pode ajudar a reduzir o efeito da multicolinearidade. No entanto, eu …

11 regression  prediction  multicollinearity  ridge-regression 

Em várias respostas, vi usuários CrossValidated sugerirem que o OP encontre artigos iniciais sobre Lasso, Ridge e Elastic Net. Para a posteridade, quais são as obras seminais sobre Lasso, Ridge e Elastic Net?

10 references  lasso  regularization  ridge-regression  elastic-net 

Tenho lido a descrição da regressão de crista em Modelos Estatísticos Lineares Aplicados , 5º Ed, capítulo 11. A regressão de crista é feita com dados de gordura corporal disponíveis aqui . O livro corresponde à saída no SAS, onde os coeficientes transformados de volta são dados no modelo ajustado …

10 r  sas  ridge-regression 

Como executar regressão não negativa da crista? Laço não negativo está disponível em scikit-learn, mas para cume, não posso impor a não-negatividade de betas e, de fato, estou obtendo coeficientes negativos. Alguém sabe por que isso é? Além disso, posso implementar cume em termos de mínimos quadrados regulares? Movi isso …

10 regression  lasso  regularization  ridge-regression 

Entendo que podemos empregar regularização em um problema de regressão de mínimos quadrados como w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] e que esse problema tem uma solução de formulário fechado como: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Vemos que na 2ª equação, a regularização está simplesmente adicionando λλ\lambda à diagonal …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

A regressão de cume pode ser expressa como que é o rótulo previsto , o identificar matriz, o objeto que está tentando encontrar um rótulo para e o matriz de objetos tal que:y^=(X′X+aId)−1Xxy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x Iddxdxxnxdnxi=(xi,1,...,Xi,d)∈Rdy^y^\hat{y}IdId\mathbf{I}_dd×dd×dd \times dxx\mathbf{x}XX\mathbf{X}n×dn×dn \times dnnnxi=(xi,1,...,xi,d)∈Rdxi=(xi,1,...,xi,d)∈Rd\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d X = ⎛⎝⎜⎜⎜⎜⎜x1 …

10 regression  ridge-regression  kernel-trick 

Parece que estou entendendo mal uma afirmação sobre métodos de regressão linear que já vi em vários lugares. Os parâmetros do problema são: Entrada: NNN amostras de dados de quantidades cada um consistindo de uma "resposta" quantidade e "predictor" quantidadesy i p x i jp+1p+1p+1yiyiy_ipppxijxijx_{ij} O resultado desejado é um …

10 regression  ridge-regression 

Estou ciente de que é prática comum padronizar os recursos para regressão de cordões e laços, no entanto, seria mais prático normalizar os recursos em uma escala (0,1) como alternativa à padronização do escore z para esses métodos de regressão?

9 normalization  lasso  standardization  ridge-regression 

Estou trabalhando na validação cruzada da previsão dos meus dados com 200 indivíduos e 1000 variáveis. Estou interessado em regressão de cume porque o número de variáveis ​​(eu quero usar) é maior que o número de amostra. Então, eu quero usar estimadores de encolhimento. A seguir, são compostos dados de …

9 r  cross-validation  prediction  ridge-regression 

Estou trabalhando em um modelo de custo preditivo em que a idade do paciente (uma quantidade inteira medida em anos) é uma das variáveis ​​preditivas. Uma forte relação não linear entre idade e risco de internação é evidente: Estou pensando em uma spline de suavização de regressão penalizada para a …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

Quando , o problema dos mínimos quadrados que impõe uma restrição esférica δ no valor de β pode ser escrito como min ‖ y - X p ‖ 2 2 s . t . ‖ Β ‖ 2 2 ≤ ô 2 para um sistema sobredeterminado. ‖ ⋅ ‖ 2 …

9 regression  least-squares  regularization  ridge-regression  underdetermined