Perguntas com a marcação «ridge-regression»

Eu sou novo na regressão cume. Quando apliquei a regressão linear, obtive os seguintes resultados: >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W estimator is 0.3718668 smallest value of GCV at …

9 ridge-regression 

\def\l{|\!|} Dada a regressão líquida elástica minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1minb12||y−Xb||2+αλ||b||22+(1−α)λ||b||1\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1 como um intervalo apropriado de λλ\lambda ser escolhido para validação cruzada? No caso α=1α=1\alpha=1 (regressão de crista), a fórmula dof=∑js2js2j+λdof=∑jsj2sj2+λ\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda} pode ser usado para …

9 least-squares  lasso  regularization  ridge-regression  elastic-net 

Nos mínimos quadrados comuns, regredindo um vetor alvo contra um conjunto de preditores , a matriz de chapéu é calculada comoyyyXXX H=X(XtX)−1XtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t e a PRESS (soma residual prevista dos quadrados) é calculada por SSP=∑i(ei1−hii)2SSP=∑i(ei1−hii)2SS_P = \sum_i \left( \frac{e_i}{1-h_{ii}}\right)^2 onde é o th residual e o são …

9 regression  cross-validation  ridge-regression 

Seguindo a minha pergunta anterior , a solução para as equações normais da regressão de crista é dada por: β^λ= ( XTX+ λ I)- 1XTyβ^λ=(XTX+λI)−1XTy\hat{\beta}_\lambda = (X^TX+\lambda I)^{-1}X^Ty Você poderia oferecer alguma orientação para escolher o parâmetro de regularização . Além disso, como a diagonal de X T X cresce …

9 regression  regularization  ridge-regression 

Suponha que eu tenha um conjunto de dados de alta dimensão e queira executar a seleção de recursos. Uma maneira é treinar um modelo capaz de identificar os recursos mais importantes desse conjunto de dados e usá-lo para jogar fora os menos importantes. Na prática, eu usaria de sklearn SelectFromModel …

9 feature-selection  linear-model  lasso  ridge-regression 

Eu sou novo no ML. Fui informado de que a normalização L2 da regressão de crista não pune a interceptação . Como na função de custo: O termo de normalização de L2 apenas soma de a , não de a . Eu também li que: ∇ θ J ( θ …

8 machine-learning  ridge-regression 

Alguém pode fornecer uma visão intuitiva sobre por que é melhor ter beta menor? Para o LASSO, eu posso entender isso, há um componente de seleção de recurso aqui. Menos recursos tornam o modelo mais simples e, portanto, menos provável de ter um ajuste excessivo. No entanto, para cume, todos …

8 regression  lasso  ridge-regression  shrinkage 

Eu me pergunto sobre a finura ideal da grade e qual é a relação entre a finura da grade e a super adaptação em métodos de regularização como LASSO, regressão de crista ou rede elástica. Suponha que eu queira ajustar um modelo de regressão usando LASSO a uma amostra de …

8 lasso  regularization  ridge-regression  overfitting  elastic-net 

Estou tentando determinar qual alfa usar na minha glmnetfunção, mas o arquivo de ajuda diz-me: Observe que o cv.glmnet NÃO procura valores para alfa. Um valor específico deve ser fornecido, caso contrário, alfa = 1 é assumido por padrão. Se os usuários também desejam validar cruzadamente o alfa, eles devem …

8 r  lasso  ridge-regression  glmnet 

Eu tenho dados que descrevem com que frequência um evento ocorre durante uma hora ("número por hora", nph) e quanto tempo os eventos duram ("duração em segundos por hora", dph). Estes são os dados originais: nph <- c(2.50000000003638, 3.78947368414551, 1.51456310682008, 5.84686774940732, 4.58823529414907, 5.59999999993481, 5.06666666666667, 11.6470588233699, 1.99999999998209, NA, 4.46153846149851, 18, 1.05882352939726, …

8 normal-distribution  data-transformation  logistic  generalized-linear-model  ridge-regression  t-test  wilcoxon-signed-rank  paired-data  naive-bayes  distributions  logistic  goodness-of-fit  time-series  eviews  ecm  panel-data  reliability  psychometrics  validity  cronbachs-alpha  self-study  random-variable  expected-value  median  regression  self-study  multiple-regression  linear-model  forecasting  prediction-interval  normal-distribution  excel  bayesian  multivariate-analysis  modeling  predictive-models  canonical-correlation  rbm  time-series  machine-learning  neural-networks  fishers-exact  factorisation-theorem  svm  prediction  linear  reinforcement-learning  cdf  probability-inequalities  ecdf  time-series  kalman-filter  state-space-models  dynamic-regression  index-decomposition  sampling  stratification  cluster-sample  survey-sampling  distributions  maximum-likelihood  gamma-distribution 

Estou tentando encontrar a estimativa MAP para um modelo por descida gradiente. Meu prior é gaussiano multivariado com uma matriz de covariância conhecida. Em um nível conceitual, acho que sei como fazer isso, mas esperava alguma ajuda com os detalhes. Em particular, se houver uma maneira mais fácil de abordar …

8 normal-distribution  covariance-matrix  regularization  gradient-descent  ridge-regression 

Eu tenho duas implementações diferentes ridgeno MATLAB. Um é simplesmente x=(A′A+Iλ)−1A′bx=(A′A+Iλ)−1A′b\mathbf x = (\mathbf{A}'\mathbf{A}+\mathbf{I}\lambda)^{-1}\mathbf{A}'\mathbf b (como visto na página de regressão de cume da Wikipedia ), com sendo a matriz de identidade das colunas de tamanho ( ) column ( ) eII\mathbf{I}AA\mathbf{A}××\timesAA\mathbf{A} Estou simplesmente chamando o "cume" de Matlab com …

8 matlab  ridge-regression  sparse 

Alguém sabe como calcular o intervalo de previsão para regressão de crista? e qual é a sua relação com o intervalo de previsão da regressão OLS?

8 ridge-regression  prediction-interval 

Estou ansioso para aprender mais sobre as técnicas de regressão regularizadas, como a regressão de Ridge e Lasso. Eu gostaria de saber o que pode ser alcançado usando essas técnicas quando comparado ao modelo de regressão linear. Também em que situação devemos adotar essas técnicas. E o que torna essas …

8 multiple-regression  regression-coefficients  regularization  ridge-regression 

Atualmente, estou trabalhando nesse problema e o objetivo é desenvolver um modelo de regressão linear para prever meu Y (pressão arterial) com 8 preditores, usando a regressão de Ridge & Lasso. Começo examinando a importância de cada um dos preditores. Abaixo está umsummary()summary()summary() da minha regressão linear múltipla com age100age100age100 …

7 multiple-regression  lasso  ridge-regression