Eu diria que a HBM é certamente "mais bayesiana" que a EB, pois marginalizar é uma abordagem mais bayesiana do que otimizar. Essencialmente, parece-me que o EB ignora a incerteza nos hiperparâmetros, enquanto a HBM tenta incluí-lo na análise. Suspeito que o HMB seja uma boa ideia em que haja poucos dados e, portanto, incerteza significativa nos hiperparâmetros, que devem ser considerados. Por outro lado, para grandes conjuntos de dados, o EB se torna mais atraente, pois geralmente é menos computacionalmente caro e o volume de dados geralmente significa que os resultados são muito menos sensíveis às configurações de hiperparâmetros.
Trabalhei em classificadores de processos gaussianos e, muitas vezes, otimizei os hiperparâmetros para maximizar os resultados de probabilidade marginal na sobreposição do ML e, portanto, degradação significativa no desempenho da generalização. Eu suspeito que nesses casos, um tratamento completo com HBM seria mais confiável, mas também muito mais caro.