O MLE com regularização é um método bayesiano?

Costuma-se dizer que os priores nas estatísticas bayesianas podem ser considerados fatores de regularização, pois penalizam soluções onde os anteriores colocam baixa densidade de probabilidade.

Então, dado esse modelo simples cujos parâmetros do MLE são:

$$argmax_{\mu} \text{ } \mathcal{N}(y; \mu, \sigma)$$

e adiciono um anterior: os parâmetros não são os parâmetros do MLE mas os parâmetros do MAP.

$$argmax_{\mu} \text{ } \mathcal{N}(y; \mu, \sigma) \mathcal{N}(\mu; 0, \sigma_0)$$

Pergunta : Isso significa que, se eu introduzir alguma regularização no meu modelo, estou fazendo uma análise bayesiana (mesmo que apenas use estimativas pontuais)?

Ou isso simplesmente não faz sentido fazer essa distinção "ontológica" nesse momento, já que o método para encontrar MLE ou MAP é o mesmo (não é?)?

Isso significa que a análise tem uma interpretação bayesiana, mas isso não significa que também pode não ter uma interpretação freqüentista. A estimativa da PAM pode ser vista como uma abordagem bayesiana parcialmente, com uma abordagem bayesiana mais completa, considerando a distribuição posterior sobre os parâmetros. Ainda é uma abordagem bayesiana, pois a definição de probabilidade seria um "grau de plausibilidade", e não uma frequência de longo prazo.

Se você usar a norma L2, ou seja, penalidade quadrática na função de probabilidade de log, a penalidade é muito semelhante a um procedimento bayesiano com um gaussiano anterior com média zero para os coeficientes de regressão sem interceptação. Mas, diferentemente do procedimento bayesiano completo que leva em consideração a incerteza sobre a quantidade de penalização (análoga ao tratamento da variação de efeitos aleatórios como se fosse uma constante conhecida), o procedimento de máxima verossimilhança penalizado finge que a penalidade ideal foi pré-especificada e não é um parâmetro desconhecido. Portanto, resulta em limites de confiança um pouco estreitos.