Interpretação dos coeficientes de regressão logística com um termo de regularização

Entendo que os coeficientes de uma equação logística podem ser interpretados como uma razão ímpar. Se um termo de regularização é adicionado ao controle para o ajuste excessivo, como isso altera a interpretação dos coeficientes?

Os coeficientes retornados padrão com um ajuste de regressão logística não são razões de chances. Eles representam a mudança nas chances de log de 'sucesso' associadas a uma alteração de uma unidade em suas respectivas variáveis, quando todo o resto é mantido em igualdade. Se você exponencia um coeficiente, pode interpretar o resultado como uma razão de chances (claro, isso não se aplica à interceptação). Mais sobre isso pode ser encontrado na minha resposta aqui: Interpretação de previsões simples para razões de chances na regressão logística .

Adicionar uma penalidade ao ajuste do modelo (potencialmente) alterará o valor ajustado dos coeficientes estimados, mas não altera a interpretação dos coeficientes no sentido discutido em sua pergunta / acima. *

* (Gostaria de saber se a confusão sobre essa afirmação é a origem do recente ). Para ser mais claro: o coeficiente ajustado em , representa a mudança nas chances de sucesso do log associadas a uma alteração de uma unidade em se não houver um termo de penalidade usado para ajustar o modelo e se um termo de penalidade for usado para ajustar o modelo. Em nenhum dos casos é a razão de chances. No entanto, é a razão de chances associada a uma alteração de 1 unidade em , novamente independentemente de um termo de penalidade ter sido usado para se ajustar ao modelo. Um modelo equipado com um termo de penalidade pode ser interpretado dentro de uma estrutura bayesiana, mas não precisa necessariamente ser. Além disso, mesmo que seja,β 1 X 1 exp ( β 1 ) X 1 β 1 X $X_1$$\hat\beta_1$$X_1$$\exp(\hat\beta_1)$$X_1$$\hat\beta_1$ainda representa a alteração nas chances de sucesso do log associadas a uma alteração de 1 unidade em não uma razão de chances. $X_1$

A regressão linear regularizada e a regressão logística regularizada podem ser bem interpretadas do ponto de vista bayesiano. O parâmetro de regularização corresponde a uma escolha de distribuição anterior nos pesos, por exemplo, algo como uma distribuição normal centralizada em zero com desvio padrão dado pelo inverso do parâmetro de regularização. Em seguida, através dos seus dados de treinamento, essas distribuições são atualizadas para finalmente fornecer as distribuições posteriores nos pesos.

Assim, por exemplo, um parâmetro de regularização maior significa que, como antes, pensamos que os pesos deveriam estar próximos de zero, portanto, com essa configuração, é menos provável que as distribuições posteriores sejam suportadas longe de zero - o que concorda com a intuição do que "a regularização deve fazer".

Para a maioria das implementações de regressão regularizada, a saída final dos pesos é apenas o valor esperado das distribuições posteriores.

A propósito, a regressão não regulamentada pode ser basicamente interpretada da mesma maneira: é o limite quando o parâmetro de regularização chega a zero.