Estou executando uma regressão logística de rede elástica em um conjunto de dados de assistência médica usando o glmnetpacote em R selecionando valores lambda em uma grade de de 0 a 1. Meu código abreviado está abaixo:$\alpha$

alphalist <- seq(0,1,by=0.1)
elasticnet <- lapply(alphalist, function(a){
  cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001)
})
for (i in 1:11) {print(min(elasticnet[[i]]$cvm))}

que gera o erro cruzado médio validado para cada valor de alfa de a com um incremento de :$0.0$$1.0$$0.1$

[1] 0.2080167
[1] 0.1947478
[1] 0.1949832
[1] 0.1946211
[1] 0.1947906
[1] 0.1953286
[1] 0.194827
[1] 0.1944735
[1] 0.1942612
[1] 0.1944079
[1] 0.1948874

Com base no que li na literatura, a escolha ideal de é onde o erro cv é minimizado. Mas há muita variação nos erros no intervalo de alfas. Estou vendo vários mínimos locais, com um erro mínimo global de para .$\alpha$0.1942612alpha=0.8

É seguro ir com alpha=0.8? Ou, dada a variação, devo executar novamente cv.glmnetcom mais dobras de validação cruzada (por exemplo, vez de ) ou talvez um número maior de incrementos de entre e para obter uma imagem clara do caminho do erro cv?$20$$10$$\alpha$alpha=0.01.0

Esclarecendo o significado de parâmetros $\alpha$ e Elastic Net

Terminologia e parâmetros diferentes são usados ​​por pacotes diferentes, mas o significado geralmente é o mesmo:

O pacote R Glmnet usa a seguinte definição

$\min_{\beta_0,\beta} \frac{1}{N} \sum_{i=1}^{N} w_i l(y_i,\beta_0+\beta^T x_i) + \lambda\left[(1-\alpha)||\beta||_2^2/2 + \alpha ||\beta||_1\right]$

Sklearn usa

$\min_{w} \frac{1}{2N} \sum_{i=1}^{N} ||y - Xw ||^2_2 + \alpha \times l_1 \text{ratio} ||w||_1 + 0.5 \times \alpha \times (1 - l_1 \text{ratio}) \times ||w||_2^2$

Existem parametrizações alternativos que utilizam $a$ e $b$ , bem ..

Para evitar confusão, eu vou ligar

• $\lambda$ o parâmetro de força da penalidade
• L $L_1 \text{ratio}$ a relação entre apenalidade$L_1$ e$L_2$ , variando de 0 (cumeeira) a 1 (laço)

Visualizando o Impacto dos Parâmetros

Considere um conjunto de dados simulados em que $y$ consiste em uma curva senoidal barulhenta e $X$ é um recurso bidimensional que consiste em $X_1 = x$ e $X_2 = x^2$ . Devido à correlação entre $X_1$ e $X_2$ a função de custo é um vale estreito.

Os gráficos abaixo ilustram o caminho solução de elasticnet regressão com dois diferentes $L_1$ parâmetros de razão, como uma função de $\lambda$ o parâmetro de resistência.

• Para ambas as simulações: quando $\lambda = 0$ , a solução é a solução OLS no canto inferior direito, com a função de custo em forma de vale associada.
• À medida que $\lambda$ aumenta, a regularização entra em ação e a solução tende a $(0,0)$
• A principal diferença entre as duas simulações é o parâmetro da razão $L_1$ .
• $L_1$
• $L_1$
• $L_1$

Compreendendo o efeito dos parâmetros

O ElasticNet foi introduzido para combater algumas das limitações do Lasso, que são:

• $p$$n$$p>n$$n$
• Lasso falha ao executar a seleção agrupada, especialmente na presença de variáveis ​​correlacionadas. Tende a selecionar uma variável de um grupo e ignorar as outras

$L_1$$L_2$

• $L_1$
• $L_2$$L_1$

Você pode ver isso visualmente no diagrama acima, as singularidades nos vértices incentivam a dispersão , enquanto as arestas convexas estritas incentivam o agrupamento .

Aqui está uma visualização tirada de Hastie (o inventor do ElasticNet)

Leitura adicional

• https://web.stanford.edu/~hastie/Papers/B67.2%20(2005)%20301-320%20Zou%20&%20Hastie.pdf
• https://www.researchgate.net/profile/Federico_Andreis/publication/321106005_Shrinkage_methods_ridge_lasso_elastic_nets/links/5a0da3d7aca2729b1f4eeabb/Shrinkage-methods-ridge-lasso-elastic-nets.pdf
• https://web.stanford.edu/~hastie/TALKS/enet_talk.pdf

Deixe-me acrescentar algumas observações muito práticas, apesar da idade da pergunta. Como não sou usuário de R, não posso deixar o código falar, mas deve ser compreensível.

1. $\alpha$$k$$f_1, ..., f_k$$f(x) = \frac{1}{k}\sum_i{f_i(x)}$$f(x) = \sqrt[k]{\prod_{i=1}^k{f_i(x)}}$

2. Uma vantagem da reamostragem é que você pode inspecionar a sequência das pontuações dos testes, que são as pontuações da cv. Você deve sempre olhar não apenas a média, mas também o desvio padrão (não é uma distribuição normal, mas você age como se). Normalmente, você exibe esta palavra como 65,5% (± 2,57%) para precisão. Dessa forma, você pode saber se os "pequenos desvios" têm maior probabilidade de serem por acaso ou estruturalmente. Melhor seria mesmo inspecionar as seqüências completas . Se sempre houver uma dobra por algum motivo, convém repensar a maneira como está fazendo sua divisão (isso indica um projeto experimental defeituoso, também: você embaralhou?). No scikit-learn, os GridSearchCVdetalhes das lojas sobre os vencimentos das dobras em cv_results_( veja aqui ).

3. $\alpha$$L_1$$\alpha$$L_2$