Os métodos de inferência MaxEnt e Bayesiano correspondem a diferentes maneiras de incorporar informações ao seu procedimento de modelagem. Ambos podem ser colocados em terreno axiomático ( "Axiomas de entropia máxima", de John Skilling, e "Álgebra de provável inferência", de Cox ).
A abordagem bayesiana é simples de aplicar se o seu conhecimento anterior vier na forma de uma função real e mensurável sobre o espaço de hipóteses, denominado "anterior". MaxEnt é direto quando as informações aparecem como um conjunto de restrições rígidas no seu espaço de hipóteses. Na vida real, o conhecimento não vem na forma "anterior" nem na forma de "restrição"; portanto, o sucesso do seu método depende da sua capacidade de representar seu conhecimento na forma correspondente.
Em um problema de brinquedo, a média do modelo bayesiano fornecerá a menor perda média de log (média de muitos desenhos), quando o anterior corresponder à verdadeira distribuição de hipóteses. A abordagem MaxEnt fornecerá a menor perda de log do pior caso, quando suas restrições forem atendidas (o pior assumido entre todos os anteriores possíveis)
ETJaynes, considerado pai dos métodos "MaxEnt", também se baseava nos métodos bayesianos. Na página 1412 de seu livro , ele fornece um exemplo em que a abordagem bayesiana resultou em uma boa solução, seguida de um exemplo em que a abordagem MaxEnt é mais natural.
A probabilidade máxima leva essencialmente o modelo a ficar dentro de algum espaço pré-determinado do modelo e tentando ajustá-lo "o mais forte possível", no sentido de que ele terá a maior sensibilidade aos dados de todos os métodos de seleção de modelo restritos a esse modelo espaço. Enquanto MaxEnt e Bayesian são estruturas, o ML é um método de ajuste de modelo concreto e, para algumas opções de design específicas, o ML pode acabar com o método que sai da abordagem Bayesian ou MaxEnt. Por exemplo, MaxEnt com restrições de igualdade é equivalente ao ajuste de Máxima Verossimilhança de uma determinada família exponencial. Da mesma forma, uma aproximação à inferência bayesiana pode levar à solução regular de máxima verossimilhança. Se você escolher o seu anterior para tornar suas conclusões maximamente sensíveis aos dados, o resultado da inferência bayesiana corresponderá ao ajuste de Máxima Verossimilhança. Por exemplo,p
Os sucessos do aprendizado de máquina da vida real costumam ser uma mistura de várias filosofias. Por exemplo, "Campos Aleatórios" foram derivados dos princípios MaxEnt. A implementação mais popular da ideia, a CRF regularizada, envolve a adição de um "prior" nos parâmetros. Como resultado, o método não é realmente MaxEnt nem Bayesiano, mas influenciado pelas duas escolas de pensamento.
Reuni alguns links sobre fundamentos filosóficos das abordagens Bayesiana e MaxEnt aqui e aqui .
Nota sobre terminologia: às vezes as pessoas chamam seu método de bayesiano simplesmente se ele usar a regra de Bayes em algum momento. Da mesma forma, "MaxEnt" às vezes é usado para algum método que favorece soluções de alta entropia. Não é o mesmo que "Inferência MaxEnt" ou "Inferência Bayesiana", conforme descrito acima