O principal problema com as redes neurais tende a impedir o excesso de ajuste. A regularização bayesiana (que restringe a magnitude dos pesos) é uma abordagem para isso; a estabilização estrutural (isto é, restringir o número de nós e / ou pesos ocultos é outra). Nenhuma das abordagens é uma panacéia, e geralmente uma combinação de regularização e estabilização estrutural é melhor (o que significa que você precisa de validação cruzada novamente para selecionar a arquitetura de rede - usar a evidência bayesiana para isso é uma má ideia, pois a evidência é enviesada como resultado. de seu uso no ajuste dos parâmetros de regularização e não confiável se houver algum erro de especificação do modelo). O que funciona melhor depende essencialmente do problema, e a melhor maneira de descobrir é tentar os dois e ver (use, por exemplo, validação cruzada para estimar o desempenho de maneira imparcial).
Além disso, a regularização não precisa ser bayesiana; você pode escolher quanto regularizar a rede usando a validação cruzada. Um dos problemas com os métodos bayesianos é que eles podem fornecer resultados ruins se o modelo for especificado incorretamente; nesse caso, os métodos de regularização baseados em validação cruzada podem ser mais robustos.
Outro ponto importante é que nem todas as formulações de redes neurais bayesianas são iguais. A estrutura de evidências do MacKay tende a não funcionar muito bem para problemas de classificação, pois a aproximação de Laplace que ele usa não funciona muito bem para distribuições posteriores distorcidas dos pesos. É provável que a abordagem MCMC de Radford Neal funcione melhor para essas tarefas, mas é computacionalmente cara e avaliar a convergência etc. não é tão simples.
No entanto, os modelos de redes neurais são bastante difíceis de acertar e, na prática, é mais fácil obter um bom desempenho de generalização dos métodos do kernel ou dos processos Gaussianos, então eu os usaria na maioria das tarefas, especialmente se houver relativamente poucos dados de treinamento.
Fiz um estudo empírico muito extenso sobre isso recentemente, mas preciso encontrar um periódico que aceite estudos empíricos de interesse para os profissionais, mas com muito pouco conteúdo de pesquisa novo.