Perguntas com a marcação «ridge-regression»

A pergunta O que concluir deste gráfico de laço (glmnet) demonstra os caminhos da solução para o estimador de laço que não é monotônico. Ou seja, alguns dos cofficients crescem em valor absoluto antes de encolherem. Eu apliquei esses modelos a vários tipos diferentes de conjuntos de dados e nunca …

18 lasso  ridge-regression  elastic-net 

Estou usando a regressão de cume em dados altamente multicolineares. Usando o OLS, obtenho grandes erros padrão nos coeficientes devido à multicolinearidade. Eu sei que a regressão de cume é uma maneira de lidar com esse problema, mas em todas as implementações de regressão de cume que eu observei, não …

18 standard-error  ridge-regression 

Qual é a diferença entre Regressão Primal , Dual e Kernel Ridge? As pessoas estão usando os três, e por causa da notação diferente que todo mundo usa em diferentes fontes é difícil para mim seguir. Então, alguém pode me dizer em palavras simples qual é a diferença entre esses …

18 regression  kernel-trick  ridge-regression 

Estima-se que os estimadores de regressão penalizados, como LASSO e cume, correspondam aos estimadores bayesianos com certos antecedentes. Eu acho (como eu não sei o suficiente sobre estatísticas bayesianas) que, para um parâmetro de ajuste fixo, existe um prévio concreto correspondente. Agora, um frequentista otimizaria o parâmetro de ajuste por …

17 bayesian  lasso  ridge-regression 

Estou implementando Ridge Regression em um módulo Python / C e me deparei com esse "pequeno" problema. A idéia é que eu queira provar os graus efetivos de liberdade mais ou menos igualmente espaçados (como o gráfico na página 65, nos "Elementos do aprendizado estatístico" ), ou seja, exemplo: que …

17 ridge-regression 

Durante um experimento para classificação de texto, eu encontrei o classificador de cume gerando resultados que constantemente superam os testes entre os classificadores que são mais comumente mencionados e aplicados para tarefas de mineração de texto, como SVM, NB, kNN, etc. Embora eu não tenha elaborado na otimização de cada …

17 machine-learning  classification  text-mining  ridge-regression 

Conheço os benefícios da regularização ao criar modelos preditivos (viés versus variação, impedindo o ajuste excessivo). Mas, estou me perguntando se é uma boa idéia também fazer regularização (laço, cume, rede elástica) quando o principal objetivo do modelo de regressão é a inferência nos coeficientes (ver quais preditores são estatisticamente …

17 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Considere um problema de regressão OLS padrão : Eu tenho matrizes e \ X e quero encontrar \ B para minimizar L = \ | \ Y- \ X \ B \ | ^ 2. A solução é dada por \ hat \ B = \ argmin_ \ B \ …

16 regression  least-squares  ridge-regression 

Ao explicar a regressão do LASSO, o diagrama de um diamante e um círculo é frequentemente usado. Diz-se que, como o formato da restrição no LASSO é um diamante, a solução de mínimos quadrados obtida pode tocar o canto do diamante, levando a um encolhimento de alguma variável. No entanto, …

16 regression  lasso  ridge-regression 

A regressão de Ridge estima parâmetros ββ\boldsymbol \beta em um modelo linear y=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \beta por β^λ=(X⊤X+λI)−1X⊤y,β^λ=(X⊤X+λI)−1X⊤y,\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y, que λλ\lambda é um parâmetro de regularização. É sabido que frequentemente apresenta um desempenho melhor …

16 regression  ridge-regression  shrinkage 

Eu tenho um conjunto de 150 recursos, e muitos deles estão altamente correlacionados entre si. Meu objetivo é prever o valor de uma variável discreta, cujo intervalo é de 1 a 8 . O tamanho da minha amostra é 550 e estou usando a validação cruzada 10 vezes . AFAIK, …

16 regression  lasso  regularization  ridge-regression  elastic-net 

Na regressão de laço ou cordão, é necessário especificar um parâmetro de retração, geralmente chamado por λλ\lambda ou αα\alpha . Esse valor geralmente é escolhido por meio da validação cruzada, verificando-se vários valores diferentes nos dados de treinamento e ver qual produz melhor, por exemplo, nos dados de teste. Qual …

16 regression  lasso  regularization  ridge-regression  penalized 

Já existe um post neste site falando sobre o mesmo problema: Por que o encolhimento funciona? Mas, embora as respostas sejam populares, não acredito que a essência da questão seja realmente abordada. É bastante claro que a introdução de algum viés na estimativa reduz a variação e pode melhorar a …

15 regularization  ridge-regression  shrinkage 

Estou ciente do tipo de regularização LASSO, cume e rede elástica em modelos de regressão linear. Questão: Esse tipo de estimativa penalizada (ou similar) pode ser aplicada à modelagem ARIMA (com uma parte MA não vazia)? pmaxpmaxp_{max}qmaxqmaxq_{max} q ⩽ q m um xp⩽pmaxp⩽pmaxp \leqslant p_{max}q⩽qmaxq⩽qmaxq \leqslant q_{max} Minhas perguntas adicionais …

15 time-series  arima  lasso  regularization  ridge-regression 

Estou tentando ver se é necessário regressão de crista , LASSO , regressão de componente principal (PCR) ou mínimos quadrados parciais (PLS) em uma situação em que há um grande número de variáveis ​​/ recursos ( ) e menor número de amostras ( ), e meu objetivo é a previsão.pppn<pn<pn …

15 regression  pca  lasso  ridge-regression  partial-least-squares