Perguntas com a marcação «regularization»

Quais são os prós e os contras do uso do LARS [1] versus o uso da descida de coordenadas para ajustar a regressão linear regularizada por L1? Estou interessado principalmente em aspectos de desempenho (meus problemas tendem a ter Nentre centenas e milhares e p<20.) No entanto, quaisquer outras idéias …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Eu li que o laço de grupo é usado para seleção de variáveis ​​e esparsidade em um grupo de variáveis. Eu quero saber a intuição por trás dessa afirmação. Por que o laço de grupo é preferível ao laço? Por que o caminho da solução do laço de grupo não …

13 regression  feature-selection  lasso  regularization 

De acordo com este tutorial sobre aprendizado profundo , a redução de peso (regularização) geralmente não é aplicada aos termos de viés b por quê? Qual é o significado (intuição) por trás disso?

13 machine-learning  neural-networks  bias  regularization 

Gostaria de comparar os modelos selecionados com cume, laço e rede elástica. A Fig. Abaixo mostra os caminhos dos coeficientes usando todos os três métodos: crista (Fig A, alfa = 0), laço (Fig B; alfa = 1) e rede elástica (Fig C; alfa = 0,5). A solução ideal depende do …

13 r  multiple-regression  modeling  regularization 

Estou usando o pacote 'lars' em R com o seguinte código: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Estou ouvindo essas palavras cada vez mais enquanto estudo o aprendizado de máquina. De fato, algumas pessoas ganharam a medalha Fields trabalhando em regularidades de equações. Então, acho que esse é um termo que se estende da física estatística / matemática ao aprendizado de máquina. Naturalmente, várias pessoas que perguntei …

12 machine-learning  self-study  terminology  regularization  definition 

Alguém pode me apontar na direção de um algoritmo online (recursivo) para a regularização de Tikhonov (mínimos quadrados regularizados)? Em uma configuração offline, eu calcularia β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY usando meu conjunto de dados original, onde λλλ é encontrado usando a validação cruzada n vezes. Um novo valor de yyy pode ser previsto …

12 regression  machine-learning  least-squares  regularization  online 

Eu gostaria de colocar esta questão em duas partes. Ambos lidam com um modelo linear generalizado, mas o primeiro trata da seleção de modelos e o outro trata da regularização. Antecedentes: Utilizo modelos GLMs (linear, logístico, regressão gama) para previsão e descrição. Quando me refiro às " coisas normais que …

12 regression  model-selection  regularization 

Existem bons papéis ou livros que tratam do uso da descida de coordenadas para L1 (laço) e / ou regularização líquida elástica para problemas de regressão linear?

12 regression  references  lasso  regularization  elastic-net 

No sensor comprimido, existe uma garantia do teorema de que possui uma solução esparsa exclusiva c (consulte o apêndice para obter mais detalhes).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Existe um teorema semelhante para o laço? Se existe um teorema, ele não …

12 regression  self-study  feature-selection  lasso  regularization 

Estou procurando literatura sobre regressão negativa da crista . Em suma, isto é uma generalização de regressão linear utilizando cume negativo λλ\lambda na fórmula β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.O caso positivo tem uma teoria legal: como uma função de perda, como uma restrição, como um …

12 regression  regularization  ridge-regression 

Aqui está um exemplo de código keras que o usa: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks  regularization  conv-neural-network  optimization 

Para evitar o excesso de ajuste nas pessoas, adicione um termo de regularização (proporcional à soma quadrada dos parâmetros do modelo) com um parâmetro de regularização à função de custo da regressão linear. Esse parâmetro o mesmo que um multiplicador de intervalo? Então, a regularização é igual ao método do …

12 regression  optimization  regularization 

Esta publicação segue esta: Por que a estimativa da crista se torna melhor que a OLS adicionando uma constante à diagonal? Aqui está a minha pergunta: Até onde eu sei, a regularização de cume usa uma -norm (distância euclidiana). Mas por que usamos o quadrado dessa norma? (uma aplicação direta …

12 lasso  regularization  ridge-regression 

Ultimamente, tenho visto muitos trabalhos sobre representações esparsas, e a maioria deles usa a norma ℓpℓp\ell_p e faz alguma minimização. Minha pergunta é, qual é o ℓpℓp\ell_p norma, e o ℓp,qℓp,q\ell_{p, q} norma mista? E como eles são relevantes para a regularização? obrigado

12 machine-learning  regularization  sparse