Perguntas com a marcação «regularization»

Considere a regressão de crista com uma restrição adicional exigindo que tenha soma unitária dos quadrados (equivalentemente, variação unitária); se necessário, pode-se supor que possui soma unitária dos quadrados:y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1. Qual é o limite de β^∗λβ^λ∗\hat{\boldsymbol\beta}_\lambda^* …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

Suponha que eu esteja tentando estimar um grande número de parâmetros a partir de alguns dados de alta dimensão, usando algum tipo de estimativa regularizada. O regularizador introduz algum viés nas estimativas, mas ainda pode ser um bom compromisso, porque a redução na variação deve mais do que compensar isso. …

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

Eu entendi como a regressão da crista reduz os coeficientes em direção a zero geometricamente. Além disso, sei como provar isso no "Caso Ortonormal" especial, mas estou confuso de como isso funciona no caso geral via "Decomposição espectral".

20 regression  multiple-regression  regularization  ridge-regression  svd 

Eu tenho uma pergunta com relação à necessidade de usar métodos de seleção de recursos (florestas aleatórias apresentam valor de importância ou métodos de seleção de recursos univariados etc.) antes de executar um algoritmo de aprendizado estatístico. Sabemos que, para evitar ajustes excessivos, podemos introduzir penalidades de regularização nos vetores …

20 regression  machine-learning  feature-selection  lasso  regularization 

Estou usando libsvm no modo C-SVC com um kernel polinomial de grau 2 e sou obrigado a treinar vários SVMs. Cada conjunto de treinamento possui 10 recursos e 5000 vetores. Durante o treinamento, recebo este aviso para a maioria dos SVMs que treino: WARNING: reaching max number of iterations optimization …

20 machine-learning  cross-validation  svm  regularization  libsvm 

A regularização em regressão (linear, logística ...) é a maneira mais popular de reduzir o excesso de ajuste. Quando o objetivo é a precisão da previsão (não explicando), existem boas alternativas para a regularização, especialmente adequadas para grandes conjuntos de dados (mi / bilhões de observações e milhões de recursos)?

19 regression  regularization  overfitting 

A regularização pode ser útil se estivermos interessados ​​apenas em estimar (e interpretar) os parâmetros do modelo, e não em previsão ou previsão? Vejo como a regularização / validação cruzada é extremamente útil se seu objetivo é fazer boas previsões sobre novos dados. Mas e se você estiver fazendo economia …

19 cross-validation  econometrics  model-selection  interpretation  regularization 

Lembro-me de ter lido em algum lugar na web uma conexão entre regressão de cumeeira (com regularização ) e regressão PCA: enquanto estiver usando regressão regularizada com hiperparâmetro , se , a regressão será equivalente a remover o Variável de PC com o menor valor próprio.ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2λλ\lambdaλ → 0λ→0 0\lambda \to …

19 regression  pca  regularization  ridge-regression 

É sabido que a regressão linear com uma penalidade de é equivalente a encontrar a estimativa de MAP dada uma Gaussiana antes dos coeficientes. Da mesma forma, usar uma penalidade de é equivalente a usar uma distribuição de Laplace como a anterior.eu2eu2l^2eu1eu1l^1 Não é incomum usar alguma combinação ponderada de …

17 regression  bayesian  regularization  prior  elastic-net 

Se você tiver meia página para explicar o abandono , como você procederia? Qual é a lógica por trás dessa técnica?

17 neural-networks  deep-learning  regularization  dropout 

No livro de Bishop, "Classificação de padrões e aprendizado de máquina", descreve uma técnica para regularização no contexto de redes neurais. No entanto, não entendo um parágrafo descrevendo que, durante o processo de treinamento, o número de graus de liberdade aumente junto com a complexidade do modelo. A cotação relevante …

17 machine-learning  neural-networks  regularization  degrees-of-freedom 

Robby McKilliam diz em um comentário a este post: Deve-se ressaltar que, do ponto de vista dos freqüentadores, não há razão para que você não possa incorporar o conhecimento prévio ao modelo. Nesse sentido, a visão frequentista é mais simples, você só tem um modelo e alguns dados. Não há …

17 bayesian  prior  regularization  frequentist 

Eu tenho um conjunto de 150 recursos, e muitos deles estão altamente correlacionados entre si. Meu objetivo é prever o valor de uma variável discreta, cujo intervalo é de 1 a 8 . O tamanho da minha amostra é 550 e estou usando a validação cruzada 10 vezes . AFAIK, …

16 regression  lasso  regularization  ridge-regression  elastic-net 

Se começarmos com um conjunto de dados , aplicar o Lasso a ele e obter uma solução , podemos aplicar o Lasso novamente ao conjunto de dados , onde é o conjunto de zero índices de , para obter uma solução, , chamada solução 'LASSO relaxada' (corrija-me se estiver errado!). …

16 regression  optimization  lasso  regularization  shrinkage 

Na regressão de laço ou cordão, é necessário especificar um parâmetro de retração, geralmente chamado por λλ\lambda ou αα\alpha . Esse valor geralmente é escolhido por meio da validação cruzada, verificando-se vários valores diferentes nos dados de treinamento e ver qual produz melhor, por exemplo, nos dados de teste. Qual …

16 regression  lasso  regularization  ridge-regression  penalized