Basicamente, basta desenhar um diagrama de Venn de dois círculos sobrepostos que devem representar conjuntos de eventos. Chame-os de A e B. Agora, a interseção dos dois é P (A, B), que pode ser lida com probabilidade de A AND B. Pelas regras básicas de probabilidade, P (A, B) = P (A | B) P (B) E como não há nada de especial em A versus B, também deve ser P (B | A) P (A). Igualar esses dois fornece o teorema de Bayes.
O Teorema de Bayes é realmente bastante simples. As estatísticas bayesianas são mais difíceis por duas razões. Uma é que é preciso um pouco de abstração para deixar de falar sobre papéis aleatórios dos dados para a probabilidade de que algum fato seja Verdadeiro. Exigia que você tivesse uma prévia e essa prévia afeta a probabilidade posterior de obter no final. E quando você precisa marginalizar muitos parâmetros ao longo do caminho, é mais difícil ver exatamente como isso é afetado.
Alguns acham que isso parece meio circular. Mas, realmente, não há como contornar isso. Os dados analisados com um modelo não levam você diretamente à verdade. Nada faz. Ele simplesmente permite que você atualize suas crenças de maneira consistente.
A outra coisa difícil sobre as estatísticas bayesianas é que os cálculos se tornam bastante difíceis, exceto por problemas simples, e é por isso que toda a matemática é trazida para lidar com isso. Precisamos aproveitar todas as simetrias possíveis para facilitar os cálculos ou então recorrer às simulações de Monte Carlo.
Portanto, as estatísticas bayesianas são difíceis, mas o teorema de Bayes não é realmente difícil. Não pense demais! Resulta diretamente do fato de que o operador "AND", em um contexto probabilístico, é simétrico. A AND B é o mesmo que B AND A e todos parecem entender isso intuitivamente.
