Perguntas com a marcação «lasso»

Em um cenário de regressão do LASSO, em que y= Xβ+ ϵy=Xβ+ϵy= X \beta + \epsilon , e as estimativas do LASSO são fornecidas pelo seguinte problema de otimização minβ| | y- Xβ| | +τ| | β| |1minβ||y-Xβ||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 Existem suposições distributivas em relação …

18 regression  lasso  assumptions  residuals 

Estima-se que os estimadores de regressão penalizados, como LASSO e cume, correspondam aos estimadores bayesianos com certos antecedentes. Eu acho (como eu não sei o suficiente sobre estatísticas bayesianas) que, para um parâmetro de ajuste fixo, existe um prévio concreto correspondente. Agora, um frequentista otimizaria o parâmetro de ajuste por …

17 bayesian  lasso  ridge-regression 

Estou executando um LASSO que possui alguns preditores de variáveis ​​categóricos e outros contínuos. Eu tenho uma pergunta sobre as variáveis ​​categóricas. O primeiro passo que entendo é dividir cada um deles em manequins, padronizá-los para uma penalização justa e depois regredir. Várias opções surgem para o tratamento das variáveis …

17 categorical-data  regression-coefficients  lasso  intercept  categorical-encoding 

Dada uma variável dependente contínua y e variáveis ​​independentes, incluindo uma variável ordinal X 1 , como encaixar um modelo linear R? Existem documentos sobre esse tipo de modelo?

17 r  regression  lasso  ordinal-data  predictor 

Conheço os benefícios da regularização ao criar modelos preditivos (viés versus variação, impedindo o ajuste excessivo). Mas, estou me perguntando se é uma boa idéia também fazer regularização (laço, cume, rede elástica) quando o principal objetivo do modelo de regressão é a inferência nos coeficientes (ver quais preditores são estatisticamente …

17 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Estou usando o Lasso para seleção de recursos em uma configuração dimensional relativamente baixa (n >> p). Depois de ajustar um modelo Lasso, quero usar as covariáveis ​​com coeficientes diferentes de zero para ajustar um modelo sem penalidade. Estou fazendo isso porque quero estimativas imparciais que Lasso não pode me …

17 regression  feature-selection  lasso  unbiased-estimator 

Ao explicar a regressão do LASSO, o diagrama de um diamante e um círculo é frequentemente usado. Diz-se que, como o formato da restrição no LASSO é um diamante, a solução de mínimos quadrados obtida pode tocar o canto do diamante, levando a um encolhimento de alguma variável. No entanto, …

16 regression  lasso  ridge-regression 

Estou tentando ler as pesquisas na área de regressão de alta dimensão; quando ppp é maior do que nnn , isto é, p>>np>>np >> n . Parece que o termo logp/nlog⁡p/n\log p/n aparece frequentemente em termos de taxa de convergência para estimadores de regressão. β^β^\hat{\beta}1n∥Xβ^−Xβ∥22=OP(σlogpn−−−−−√∥β∥1).1n‖Xβ^−Xβ‖22=OP(σlog⁡pn‖β‖1). \dfrac{1}{n}\|X\hat{\beta} - X \beta\|_2^2 = …

16 regression  lasso  convergence  high-dimensional 

Eu tenho um conjunto de 150 recursos, e muitos deles estão altamente correlacionados entre si. Meu objetivo é prever o valor de uma variável discreta, cujo intervalo é de 1 a 8 . O tamanho da minha amostra é 550 e estou usando a validação cruzada 10 vezes . AFAIK, …

16 regression  lasso  regularization  ridge-regression  elastic-net 

Se começarmos com um conjunto de dados , aplicar o Lasso a ele e obter uma solução , podemos aplicar o Lasso novamente ao conjunto de dados , onde é o conjunto de zero índices de , para obter uma solução, , chamada solução 'LASSO relaxada' (corrija-me se estiver errado!). …

16 regression  optimization  lasso  regularization  shrinkage 

Na regressão de laço ou cordão, é necessário especificar um parâmetro de retração, geralmente chamado por λλ\lambda ou αα\alpha . Esse valor geralmente é escolhido por meio da validação cruzada, verificando-se vários valores diferentes nos dados de treinamento e ver qual produz melhor, por exemplo, nos dados de teste. Qual …

16 regression  lasso  regularization  ridge-regression  penalized 

Considere regressão linear com alguma regularização: por exemplo, encontre que minimize | | A x - b | | 2 + λ | | x |xxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Normalmente, as colunas de A são padronizadas para ter média zero e norma de unidade, enquanto é centralizado para ter média zero. …

16 regression  lasso  regularization  standardization 

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Se você olhar para o início deste post, o escritor menciona que a norma L2 tem uma solução única e a norma L1 tem possivelmente muitas soluções. Entendo isso em termos de regularização, mas não em termos do uso da norma L1 ou da norma L2 na função de …

16 regression  lasso  regularization 

Estou ciente do tipo de regularização LASSO, cume e rede elástica em modelos de regressão linear. Questão: Esse tipo de estimativa penalizada (ou similar) pode ser aplicada à modelagem ARIMA (com uma parte MA não vazia)? pmaxpmaxp_{max}qmaxqmaxq_{max} q ⩽ q m um xp⩽pmaxp⩽pmaxp \leqslant p_{max}q⩽qmaxq⩽qmaxq \leqslant q_{max} Minhas perguntas adicionais …

15 time-series  arima  lasso  regularization  ridge-regression 

Estou tentando ver se é necessário regressão de crista , LASSO , regressão de componente principal (PCR) ou mínimos quadrados parciais (PLS) em uma situação em que há um grande número de variáveis ​​/ recursos ( ) e menor número de amostras ( ), e meu objetivo é a previsão.pppn<pn<pn …

15 regression  pca  lasso  ridge-regression  partial-least-squares