Jaynes argumenta que, quando você sai da família exponencial, seus estimadores deixam de ser estatísticas suficientes. Se uma estatística é suficiente para um parâmetro,Pr(t|θ)=Pr(X|θ). O que implica que a informação em é a mesma que na amostra . Métodos Bayesian sempre usar todas as informações em . Métodos não bayesianos usam uma estatística. Se essa estatística contiver as mesmas informações, o estimador não será pior.tXX
Se a estatística não for suficiente, será mais ruidosa do que a estimativa bayesiana. Estimadores Bayesianos são sempre estatísticas admissíveis. Se a distribuição não estiver na família exponencial, o estimador bayesiano a dominará estocástica, portanto o estimador será inadmissível.
Portanto, se você não fizer essa suposição, seria melhor usar um modelo bayesiano em todas as circunstâncias. Se fosse esse o caso, por que você usaria uma alternativa?