Quais são as vantagens de usar uma rede neural bayesiana

12

Recentemente, li alguns artigos sobre a rede neural bayesiana (BNN) [Neal, 1992] , [Neal, 2012] , que fornece uma relação de probabilidade entre a entrada e a saída em uma rede neural. O treinamento dessa rede neural é feito através do MCMC, que é diferente do algoritmo tradicional de retropropagação.

Minha pergunta é: Qual é a vantagem de usar uma rede neural? Mais especificamente, você poderia fornecer alguns exemplos que se encaixam melhor no BNN do que no NN?

bayesian neural-networks bayesian-network

— fishiwhj
fonte

9

As redes neurais bayesianas são úteis para resolver problemas em domínios em que os dados são escassos, como forma de evitar o ajuste excessivo. Eles geralmente vencem todos os outros métodos em tais situações. Exemplos de aplicações são biologia molecular ( por exemplo, este artigo ) e diagnóstico médico (áreas em que os dados geralmente vêm de trabalhos expiratórios caros e difíceis). Na verdade, as redes bayesianas são úteis universalmente e podem obter melhores resultados para um grande número de tarefas, mas são extremamente difíceis de dimensionar para grandes problemas.

— Denis Tarasov
fonte

2

Você pode expandir por que as redes bayesianas são difíceis de escalar?

— Ellis Valentiner

6

$\bar{f}(x′|x,t)=∫f(x′,ω)p(ω|x,t)dω$ $f$ $x'$ $ω$ $\sigma(x′)=\sqrt{∫[f(x′,ω)−\bar{f}(x′|x,t)]^2p(ω|x,t)dω}$

— Michelle K
fonte

1

Essa é uma adição interessante à conversa, mas é um pouco curta para nossos padrões. Você poderia elaborar um pouco e talvez incluir uma referência?

— Sycorax diz Restabelecer Monica

\bar{f} (x^{'} | x, t) = \int f (x^{'}, ω) p (ω | x, t) d ω

$\bar{f}(x'|x,t) = \int{f(x',\omega)p(\omega|x,t) d\omega}$

ω

$\omega$

x, t

$x,t$

σ (x^{'}) = \sqrt{(} \int [f (x^{'}, ω) - \bar{f} (x^{'} | x, t)]^{2} p (ω | x, t) d ω)

$\sigma(x') = \sqrt(\int{[f(x',\omega)-\bar{f}(x'|x,t)]^2p(\omega|x,t) d\omega})$

Edite isso em sua resposta.

— Sycorax diz Restabelecer Monica