Perguntas com a marcação «regularization»

Ao pensar em um histograma como uma estimativa da função de densidade, é razoável pensar no tamanho da caixa como um parâmetro que restringe a estrutura local dessa função? Além disso, existe uma maneira melhor de articular esse raciocínio?

8 machine-learning  distributions  regularization  histogram  binning 

Podemos simular regressão linear sem aleatoriedade, o que significa que fazemos vez de . Então, se ajustarmos um modelo linear, os coeficientes serão idênticos à "verdade fundamental". Aqui está um exemplo.y = X β + ϵy=Xβy=Xβy=X\betay=Xβ+ϵy=Xβ+ϵy=X\beta+\epsilon set.seed(0) n <- 1e5 p <- 3 X <- matrix(rnorm(n*p), ncol=p) beta <- runif(p) …

8 r  logistic  regularization  linear  separation 

Tenho a seguinte configuração para um projeto de pesquisa de Finanças / Aprendizado de Máquina na minha universidade: estou aplicando uma Rede Neural (Profunda) (MLP) com a seguinte estrutura em Keras / Theano para distinguir estoques com desempenho superior (etiqueta 1) dos estoques com desempenho insatisfatório ( etiqueta 0). Em …

8 machine-learning  neural-networks  deep-learning  regularization  dropout 

Uma propriedade fundamental da regressão de efeitos aleatórios é que as estimativas de interceptação aleatória são "reduzidas" em direção à média geral da resposta em função da variação relativa de cada estimativa. ρJ=τ2/(τ2+σ2/nj).você^j= ρjy¯j+ ( 1 - ρj) y¯U^j=ρjy¯j+(1−ρj)y¯\hat{U}_j = \rho_j \bar{y}_j + (1-\rho_j)\bar{y} ondeρj= τ2/ ( τ2+ σ2/ nj) …

8 mixed-model  regularization  shrinkage 

Estou regredindo um preditor contínuo em mais de 60 variáveis ​​(contínuas e categóricas) usando o LASSO (glmnet). Ao examinar o gráfico de rastreamento de variáveis, noto que, à medida que o log lambda aumenta, uma das principais variáveis ​​tem um coeficiente que realmente aumenta. Depois de um certo ponto, começa …

8 lasso  regularization  glmnet 

Eu me pergunto sobre a finura ideal da grade e qual é a relação entre a finura da grade e a super adaptação em métodos de regularização como LASSO, regressão de crista ou rede elástica. Suponha que eu queira ajustar um modelo de regressão usando LASSO a uma amostra de …

8 lasso  regularization  ridge-regression  overfitting  elastic-net 

Eu estou tentando entender como funciona regularização em termos de projeções em um l∗l∗l_* bola, e projeção euclidiana para o simplex. Não sei ao certo o que queremos dizer quando projetamos o vetor de peso nas bolas ou .l 2l1l1l_1l2l2l_2 Eu posso entender o conceito de programa de regularização de …

8 optimization  regularization  projection 

Costuma-se dizer que os priores nas estatísticas bayesianas podem ser considerados fatores de regularização, pois penalizam soluções onde os anteriores colocam baixa densidade de probabilidade. Então, dado esse modelo simples cujos parâmetros do MLE são: a r gm a xμ N( y; μ , σ)argmaxμ N(y;μ,σ) argmax_{\mu} \text{ } \mathcal{N}(y; …

8 bayesian  regularization  frequentist  philosophical 

Se selecionarmos valores diferentes do parâmetro , poderíamos obter soluções com diferentes níveis de escarsidade. Isso significa que o caminho da regularização é como selecionar as coordenadas que poderiam obter uma convergência mais rápida? Estou um pouco confuso, embora tenha ouvido falar sobre esparsidade com frequência. Além disso, você poderia …

8 lasso  regularization 

Entendo que os coeficientes de uma equação logística podem ser interpretados como uma razão ímpar. Se um termo de regularização é adicionado ao controle para o ajuste excessivo, como isso altera a interpretação dos coeficientes?

8 logistic  interpretation  regression-coefficients  regularization  odds-ratio 

Estou tentando encontrar a estimativa MAP para um modelo por descida gradiente. Meu prior é gaussiano multivariado com uma matriz de covariância conhecida. Em um nível conceitual, acho que sei como fazer isso, mas esperava alguma ajuda com os detalhes. Em particular, se houver uma maneira mais fácil de abordar …

8 normal-distribution  covariance-matrix  regularization  gradient-descent  ridge-regression 

Estou tentando implementar a regularização múltipla em máquinas de vetores de suporte (SVMs) no Matlab. Estou seguindo as instruções no artigo de Belkin et al. (2006), há a equação: f∗=argminf∈Hk∑li=1V(xi,yi,f)+γA∥f∥2A+γI∥f∥2If∗=argminf∈Hk∑i=1lV(xi,yi,f)+γA‖f‖A2+γI‖f‖I2f^{*} = \text{argmin}_{f \in H_k}\sum_{i=1}^{l}V\left(x_i,y_i,f\right)+\gamma_{A}\left\| f \right\|_{A}^{2}+\gamma_{I}\left\| f \right\|_{I}^{2} onde V é alguma função de perda e γAγA\gamma_A é o peso …

8 machine-learning  svm  regularization 

Estou implementando a versão GLMNET da rede elástica para regressão linear com outro software que não o R. Comparei meus resultados com a função R glmnet no modo de laço nos dados de diabetes . A seleção da variável é boa ao variar o valor do parâmetro (lambda), mas obtenho …

8 r  lasso  regularization  glmnet  elastic-net 

Temos uma resposta e preditoresY∈RnY∈RnY \in \Bbb R^nX=(x1,x2,⋯,xm)T∈Rn×mX=(x1,x2,⋯,xm)T∈Rn×mX = (x_1, x_2, \cdots, x_m)^T \in \Bbb R^{n \times m} O problema que queremos resolver é argmink∈Rm(∥Y−Xk∥22+λ∥k∥0)→k0argmink∈Rm(‖Y−Xk‖22+λ‖k‖0)→k0\text{argmin}_{k \in \Bbb R^{m}} (\Vert Y - Xk \Vert_2^2 + \lambda \Vert k \Vert_0) \rightarrow k_0 No entanto, é difícil para NP; portanto, resolvemos argmink∈Rm(∥Y−Xk∥22+λ∥k∥1)→k1argmink∈Rm(‖Y−Xk‖22+λ‖k‖1)→k1\text{argmin}_{k \in …

8 regression  feature-selection  regularization 

Estou ansioso para aprender mais sobre as técnicas de regressão regularizadas, como a regressão de Ridge e Lasso. Eu gostaria de saber o que pode ser alcançado usando essas técnicas quando comparado ao modelo de regressão linear. Também em que situação devemos adotar essas técnicas. E o que torna essas …

8 multiple-regression  regression-coefficients  regularization  ridge-regression