Existe algum domínio em que as redes Bayesian superam as redes neurais?

As redes neurais obtêm os melhores resultados nas tarefas de visão computacional (consulte MNIST , ILSVRC , Kaggle Galaxy Challenge ). Eles parecem superar todas as outras abordagens no Computer Vision. Mas também existem outras tarefas:

• Desafio da Atividade Molecular de Kaggle
• Regressão: previsão de Kaggle Rain , também o 2º lugar
• Grasp and Lift 2nd também terceiro lugar - Identifique movimentos das mãos das gravações de EEG

Não tenho muita certeza sobre o ASR (reconhecimento automático de fala) e a tradução automática, mas acho que também ouvi falar que redes neurais (recorrentes) (começam a) superam outras abordagens.

Atualmente, estou aprendendo sobre redes bayesianas e me pergunto em quais casos esses modelos geralmente são aplicados. Então, minha pergunta é:

Existe algum desafio / competição (Kaggle), onde o estado da arte são as Redes Bayesianas ou pelo menos modelos muito semelhantes?

(Nota: também vi árvores de decisão , 2 , 3 , 4 , 5 , 6 , 7 vencerem em vários desafios recentes do Kaggle)

Uma das áreas em que as abordagens bayesianas são frequentemente usadas é onde é necessário interpretar o sistema de previsão. Você não quer dar aos médicos uma rede neural e dizer que ela é 95% precisa. Você prefere explicar as suposições que seu método faz, bem como o processo de decisão que o método utiliza.

Área semelhante é quando você tem um forte conhecimento de domínio anterior e deseja usá-lo no sistema.

Redes bayesianas e redes neurais não são exclusivas uma da outra. De fato, redes bayesianas são apenas outro termo para "modelo gráfico direcionado". Eles podem ser muito úteis no projeto de redes neurais de funções objetivas. Yann Lecun apontou isso aqui: https://plus.google.com/+YannLeCunPhD/posts/gWE7Jca3Zoq .

Um exemplo.

Excelentes respostas já.

Um domínio em que posso pensar e em que estou trabalhando extensivamente é o domínio de análise de clientes .

Eu tenho que entender e prever os movimentos e motivações dos clientes, a fim de informar e avisar o suporte ao cliente, o marketing e também as equipes de crescimento.

Então, aqui, as redes neurais fazem um bom trabalho na previsão de rotatividade, etc. Mas, eu encontrei e prefiro o estilo de redes bayesianas, e aqui estão as razões para preferir:

1. Os clientes sempre têm um padrão. Eles sempre têm uma razão para agir. E esse motivo seria algo que minha equipe fez por eles ou eles mesmos aprenderam. Portanto, tudo tem um precedente aqui e, de fato, a razão é muito importante, pois alimenta a maioria das decisões tomadas pelo cliente.
2. Cada movimento do cliente e das equipes de crescimento no funil de marketing / vendas é causa-efeito. Portanto, o conhecimento prévio é vital quando se trata de converter um lead em potencial em um cliente.

Portanto, o conceito de prior é muito importante quando se trata de análise de clientes, o que torna o conceito de redes bayesianas muito importante para esse domínio.

Aprendizagem sugerida:

Métodos Bayesianos para Redes Neurais

Redes bayesianas em análise de negócios

Às vezes, você se preocupa tanto em mudar o resultado quanto em prever o resultado.

Uma rede neural com dados de treinamento suficientes tenderá a prever melhor o resultado, mas, uma vez que você possa prever o resultado, poderá prever o efeito de fazer alterações nos recursos de entrada do resultado.

Um exemplo da vida real: saber que é provável que alguém tenha um ataque cardíaco é útil, mas ser capaz de dizer à pessoa que se ela parasse de fazer XX, o risco reduziria em 30% é de um benefício muito maior.

Da mesma forma, a retenção de clientes, sabendo por que os clientes param de fazer compras com você, vale tanto quanto prever os clientes que provavelmente deixarão de fazer compras com você.

Também uma Rede Bayesiana mais simples que prevê menos bem, mas leva a mais ações a serem tomadas, pode ser melhor do que uma Rede Bayesiana mais "correta".

A maior vantagem das redes bayesianas sobre as redes neurais é que elas podem ser usadas para inferência causal. Esse ramo é de fundamental importância para estatística e aprendizado de máquina, e a Judea Pearl ganhou o prêmio Turing por esta pesquisa.

As redes bayesianas podem superar as redes neurais em pequenas configurações de dados. Se as informações anteriores forem gerenciadas adequadamente por meio da estrutura de rede, anteriores e outros hiperparâmetros, elas poderão ter uma vantagem sobre as Redes Neurais. As redes neurais, especialmente aquelas com mais camadas, são muito conhecidas por consumir dados. Quase por definição muitos dados são necessários para treiná-los adequadamente.

Publiquei este link no Reddit e recebi muitos comentários. Alguns postaram suas respostas aqui, outros não. Esta resposta deve somar o post do reddit. (Eu criei o wiki da comunidade para não ganhar pontos por isso)

• A codificação variável Bayes automática é uma combinação de uma rede Bayes e uma rede neural. O artigo Redes Neurais Convolucionais Bayesianas com Inferência Variacional Aproximada de Bernoulli parece seguir na mesma direção.
• Abandono: Uma maneira simples de impedir que redes neurais se ajustem excessivamente é um exemplo em que as redes neurais bayesianas superam sua abordagem de abandono (consulte a seção 6.4 "Comparação com redes neurais bayesianas")
• A aprendizagem de conceitos no nível humano através da indução probabilística de programas é um artigo "em uma rede de rede bayesiana que faz uma classificação única que supera as redes neurais" (de acordo com trashacount12345 - eu não havia verificado até agora).
• Yann LeCun escreveu um post no Google+ no qual argumenta que redes neurais e modelos gráficos probabilísticos não são conceitos ortogonais.

As redes bayesianas são preferidas para a interpretação do genoma. Veja, por exemplo, esta dissertação que discute métodos computacionais para interpretação de genoma.

Eu fiz um pequeno exemplo para isso uma vez. A partir disso, acho que as redes bayesianas são preferidas se você deseja capturar uma distribuição, mas seu conjunto de treinamento de entrada não cobre bem a distribuição. Nesses casos, mesmo uma rede neural que generalizou bem não seria capaz de reconstruir a distribuição.

Eu não concordo plenamente que as redes neurais se saiam bem que outros alunos. De fato, as redes neurais estão se saindo muito mal em comparação com outros métodos. Também não há metodologia, apesar de alguns conselhos sobre a escolha de parâmetros, pois isso é feito com muita frequência por acaso. Também existem alguns caras que falam aleatoriamente nos fóruns sobre como as redes neurais são tão boas, não porque elas tenham alguma evidência disso, mas porque estão atraídas pela palavra chique e zumbida `` neural ''. Eles também são muito instáveis, você tentou uma rede neural para comparar com xgboost? Eu não vou tentar nenhuma rede neural até que seja auto-consciente.