Perguntas com a marcação «ridge-regression»

Ouvi dizer que a regressão de cordilheira pode ser derivada como a média de uma distribuição posterior, se o prior for adequadamente escolhido. A intuição de que as restrições definidas nos coeficientes de regressão pelas anteriores (por exemplo, distribuições normais padrão em torno de 0) são idênticas / substitui a …

15 bayesian  prior  ridge-regression 

Em "Os elementos do aprendizado estatístico" (2ª ed), p63, os autores apresentam as duas formulações a seguir do problema de regressão de crista: β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβ2j}β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβj2} \hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \left\{ \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 + \lambda \sum_{j=1}^p \beta_j^2 \right\} e β^ridge=argminβ∑i=1N(yi−β0−∑j=1pxijβj)2, subject to ∑j=1pβ2j≤t.β^ridge=argminβ∑i=1N(yi−β0−∑j=1pxijβj)2, subject to ∑j=1pβj2≤t. \hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 …

15 ridge-regression 

Eu li os livros mais populares da aprendizagem estatística 1- Os elementos da aprendizagem estatística. 2- Uma introdução à aprendizagem estatística . Ambos mencionam que a regressão de crista tem duas fórmulas equivalentes. Existe uma prova matemática compreensível desse resultado? Também passei pelo Cross Validated , mas não consigo encontrar …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

Ao executar a regressão de crista, como você interpreta os coeficientes que acabam maiores que seus correspondentes em menores quadrados (para certos valores de )? A regressão de crista não deve reduzir monotonicamente os coeficientes?λλ\lambda Em uma nota relacionada, como interpretar um coeficiente cujo sinal muda durante a regressão da …

14 interpretation  regression-coefficients  ridge-regression 

Na regressão de crista, a função objetivo a ser minimizada é: RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Isso pode ser otimizado usando o método multiplicador de Lagrange? Ou é uma diferenciação direta?

14 regression  regularization  ridge-regression 

Meu entendimento geral é que a AIC lida com o compromisso entre a qualidade do ajuste do modelo e a complexidade do modelo. A IC= 2 k - 2 l n ( L )UMAEuC=2k-2eun(eu)AIC =2k -2ln(L) kkk = número de parâmetros no modelo eueuL = probabilidade O critério de informação …

14 cross-validation  lasso  aic  ridge-regression  bic 

Quero calcular o AICc de um modelo de regressão de cume. O problema é o número de parâmetros. Para regressão linear, a maioria das pessoas sugere que o número de parâmetros é igual ao número de coeficientes estimados mais sigma (a variação do erro). Quando se trata de regressão de …

13 regression  aic  ridge-regression  degrees-of-freedom 

Estou aprendendo sobre regressão de cordilheira e sei que a regressão de cordilheira tende a funcionar melhor na presença de multicolinearidade. Eu estou querendo saber por que isso é verdade? Uma resposta intuitiva ou matemática seria satisfatória (ambos os tipos de respostas seriam ainda mais satisfatórios). Além disso, eu sei …

13 multicollinearity  ridge-regression 

Estou usando o pacote 'lars' em R com o seguinte código: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Eu li que a regressão de crista pode ser alcançada simplesmente adicionando linhas de dados à matriz de dados original, onde cada linha é construída usando 0 para as variáveis ​​dependentes e a raiz quadrada de kkk ou zero para as variáveis ​​independentes. Uma linha extra é então adicionada para …

12 logistic  generalized-linear-model  ridge-regression 

Estou procurando literatura sobre regressão negativa da crista . Em suma, isto é uma generalização de regressão linear utilizando cume negativo λλ\lambda na fórmula β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.O caso positivo tem uma teoria legal: como uma função de perda, como uma restrição, como um …

12 regression  regularization  ridge-regression 

Esta publicação segue esta: Por que a estimativa da crista se torna melhor que a OLS adicionando uma constante à diagonal? Aqui está a minha pergunta: Até onde eu sei, a regularização de cume usa uma -norm (distância euclidiana). Mas por que usamos o quadrado dessa norma? (uma aplicação direta …

12 lasso  regularization  ridge-regression 

De acordo com as referências Livro 1 , Livro 2 e papel . Foi mencionado que existe uma equivalência entre a regressão regularizada (Ridge, LASSO e Elastic Net) e suas fórmulas de restrição. Também examinei o Cross Validated 1 e o Cross Validated 2 , mas não vejo uma resposta …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Estou executando um modelo de regressão com Lasso e Ridge (para prever uma variável de resultado discreto variando de 0 a 5). Antes de executar o modelo, uso o SelectKBestmétodo de scikit-learnpara reduzir o conjunto de recursos de 250 para 25 . Sem uma seleção inicial de recursos, Lasso e …

11 regression  predictive-models  feature-selection  lasso  ridge-regression 

Suponha que eu tenho dois estimadores e que são estimadores consistentes do mesmo parâmetro e que com no sentido psd. Portanto, assintoticamente é mais eficiente que . Esses dois estimadores são baseados em diferentes funções de perda. β 2β0√βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0 0β0\beta_0V1≤V2 β 1 β 2n--√( βˆ1- β0 0) →dN( 0 , …

11 regression  ridge-regression  shrinkage  penalized