Perguntas com a marcação «lasso»

A regressão LASSO reduz os coeficientes para zero, fornecendo, assim, uma seleção de modelo eficaz. Eu acredito que em meus dados existem interações significativas entre covariáveis ​​nominais e contínuas. Não necessariamente, porém, são os 'efeitos principais' do modelo verdadeiro significativos (diferentes de zero). Claro que não sei disso, pois o …

25 machine-learning  lasso  glmnet  shrinkage  penalized 

Diferentes softwares de implementação estão disponíveis para o laço . Sei muito discutido sobre abordagem bayesiana versus abordagem freqüentista em diferentes fóruns. Minha pergunta é muito específica para o laço - Quais são as diferenças ou vantagens de laço baysiano vs laço regular ? Aqui estão dois exemplos de implementação …

24 r  machine-learning  linear-model  lasso 

Então me fizeram uma pergunta sobre quais medidas centrais L1 (isto é, laço) e L2 (isto é, regressão de cordilheira) estimadas. A resposta é L1 = mediana e L2 = média. Existe algum tipo de raciocínio intuitivo para isso? Ou isso precisa ser determinado algebricamente? Se sim, como faço para …

24 lasso  regularization  loss-functions  ridge-regression 

Algumas funções e aproximações de penalidade são bem estudadas, como o LASSO ( ) e o Ridge ( ) e como elas se comparam na regressão.L 2L1L1L_1L2L2L_2 Eu tenho lido sobre a penalidade de Bridge, que é a penalidade generalizada . Compare isso com o LASSO, que possui \ gama …

22 regression  lasso  regularization  ridge-regression  elastic-net 

Eu quero entender melhor os pacotes R Larse Glmnet, que são usados ​​para resolver o problema de Lasso: (parapVariáveis ​​eamostras deN, consultewww.stanford.edu/~hastie/Papers/glmnet.pdfna página 3)m i n( β0 0β) ∈ Rp + 1[ 12 N∑i = 1N( yEu- β0 0- xTEuβ)2+ λ | | β| |eu1]mEun(β0 0β)∈Rp+1[12N∑Eu=1N(yEu-β0 0-xEuTβ)2+λ||β||eu1]min_{(\beta_0 \beta) \in R^{p+1}} …

22 r  regression  machine-learning  lasso  regularization 

Estou executando um pequeno experimento com regressão LASSO em R para testar se é capaz de encontrar um par preditor perfeito. O par é definido assim: f1 + f2 = resultado O resultado aqui é um vetor predeterminado chamado 'idade'. F1 e f2 são criados pegando metade do vetor de …

20 r  regression  feature-selection  lasso  high-dimensional 

Todos nós estamos familiarizados com a noção, bem documentada na literatura, de que a otimização do LASSO (por uma questão de simplicidade limita a atenção aqui ao caso da regressão linear) l o s s =∥y- Xβ∥22+ λ ∥ β∥1euoss=__y-Xβ__22+λ__β__1 {\rm loss} = \| y - X \beta \|_2^2 + …

20 lasso  laplace-distribution 

Eu tenho uma pergunta com relação à necessidade de usar métodos de seleção de recursos (florestas aleatórias apresentam valor de importância ou métodos de seleção de recursos univariados etc.) antes de executar um algoritmo de aprendizado estatístico. Sabemos que, para evitar ajustes excessivos, podemos introduzir penalidades de regularização nos vetores …

20 regression  machine-learning  feature-selection  lasso  regularization 

A regressão penalizada de L1 (aka laço) é apresentada em duas formulações. Seja as duas funções objetivas Então as duas formulações diferentes são sujeito a e, equivalentemente Usando as condições de Karush-Kuhn-Tucker (KKT), é fácil ver como a condição de estacionariedade para a primeira formulação é equivalente a pegar o …

20 regression  lasso  penalized 

Estou usando o pacote R penalizado para obter estimativas reduzidas de coeficientes para um conjunto de dados em que tenho muitos preditores e pouco conhecimento de quais são importantes. Depois de escolher os parâmetros de ajuste L1 e L2 e ficar satisfeito com meus coeficientes, existe uma maneira estatisticamente sólida …

20 regression  lasso  stepwise-regression  ridge-regression 

Recentemente, descobri que na literatura econométrica aplicada, ao lidar com problemas de seleção de características, não é incomum executar o LASSO seguido de uma regressão OLS usando as variáveis ​​selecionadas. Fiquei me perguntando como podemos qualificar a validade de tal procedimento. Causará problemas como variáveis ​​omitidas? Alguma prova mostrando que …

20 regression  feature-selection  econometrics  least-squares  lasso 

A seguir, é apresentado o gráfico do glmnet com alfa padrão (1, portanto, laço) usando o mtcarsconjunto de dados em R com mpgo DV e outros como variáveis ​​preditoras. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) O que podemos concluir desse gráfico em relação a diferentes variáveis, especialmente am, cyle wt(linhas vermelhas, pretas e azuis …

19 regression  feature-selection  lasso  glmnet 

Estou realmente interessado no procedimento de rede elástica para retração / seleção de preditores. Parece muito poderoso. Mas, do ponto de vista científico, não sei bem o que fazer quando obtive os coeficientes. Que pergunta estou respondendo? Essas são as variáveis ​​que mais influenciam esse resultado e esses são os …

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

Os métodos de seleção de variáveis ​​algorítmicas passo a passo tendem a selecionar modelos que enviesam mais ou menos todas as estimativas em modelos de regressão ( ββ\beta s e seus SEs, valores de p , estatísticas F , etc.) e têm a probabilidade de excluir preditores verdadeiros como incluir …

18 regression  feature-selection  lasso  regression-strategies  stepwise-regression 

A pergunta O que concluir deste gráfico de laço (glmnet) demonstra os caminhos da solução para o estimador de laço que não é monotônico. Ou seja, alguns dos cofficients crescem em valor absoluto antes de encolherem. Eu apliquei esses modelos a vários tipos diferentes de conjuntos de dados e nunca …

18 lasso  ridge-regression  elastic-net