Intuição do Teorema de Bayes

22

Eu tenho tentado desenvolver um entendimento baseado na intuição do teorema de Bayes em termos de probabilidade anterior , posterior , probabilidade e marginal . Para isso, uso a seguinte equação: onde representa uma hipótese ou crença e representa dados ou evidências. Eu entendi o conceito de posterior - é uma entidade unificadora que combina a crença anterior e a probabilidade de um evento. O que eu não entendo é o que significa a probabilidade ? E por que o marginal

P (B | A) = \frac{P (A | B) P (B)}{P (A)}

$P(B|A) = \frac{P(A|B)P(B)}{P(A)}$

A

$A$

B

$B$
probabilidade no denominador?
Após analisar alguns recursos, deparei-me com esta citação:

A probabilidade é o peso do evento dado pela ocorrência de ... é a probabilidade posterior do evento , dado que o evento ocorreu. $B$ $A$ $P(B|A)$ $B$ $A$

As duas declarações acima parecem idênticas para mim, apenas escritas de maneiras diferentes. Alguém pode explicar a diferença entre os dois?

bayesian likelihood intuition

— Anas Ayubi
fonte

4

Você tem um erro de digitação (ou um equívoco). deve ser a "hipótese ou crença" e deve ser o "dado ou evidência" em sua formulação.

B

$B$

A

$A$

— gung - Restabelece Monica

1

veja a minha resposta em math.stackexchange.com/a/1943255/1505 que é como eu acabei entendendo intuitivamente

— Lyndon Branca

27

Embora existam quatro componentes listados na lei de Bayes, prefiro pensar em termos de três componentes conceituais:

\underset{2}{\underset{⏟}{P (B | A)}} = \underset{3}{\underset{⏟}{\frac{P (A | B)}{P (A)}}} \underset{1}{\underset{⏟}{P (B)}}

$\underbrace{P(B|A)}_2 = \underbrace{\frac{P(A|B)}{P(A)}}_3 \underbrace{P(B)}_1$

O anterior é o que você acreditava sobre antes de encontrar uma informação nova e relevante (ou seja, ). $B$ $A$
O posterior é o que você acredita (ou deveria, se for racional) sobre depois de encontrar uma informação nova e relevante. $B$
O quociente da probabilidade dividida pela probabilidade marginal da nova peça de informação índices a informatividade das novas informações para as suas crenças sobre . $B$

— - Reinstate Monica
fonte

19

Já existem várias respostas boas, mas talvez isso possa acrescentar algo novo ...

Eu sempre penso na regra de Bayes em termos de probabilidades de componentes, que podem ser entendidas geometricamente em termos dos eventos e como mostrado abaixo. $A$ $B$

As probabilidades marginais e são dadas pelas áreas dos círculos correspondentes. Todos os resultados possíveis são representados por , correspondendo ao conjunto de eventos " ou ". A probabilidade conjunta corresponde ao evento " e ". $P(A)$ $P(B)$ $P(A \cup B)=1$ $A$ $B$ $P(A \cap B)$ $A$ $B$

Nesta estrutura, as probabilidades condicionais no teorema de Bayes podem ser entendidas como razões de áreas. A probabilidade de dado é a fração de ocupada por , expressa em $A$ $B$ $B$ $A \cap B$ Da mesma forma, a probabilidade dedadaé a fração deocupada por, ou seja,

P (A | B) = \frac{P (A \cap B)}{P (B)}

$P(A\vert B)=\frac{P(A \cap B)}{P(B)}$

B

$B$

A

$A$

A

$A$

A \cap B

$A \cap B$

P (B | A) = \frac{P (A \cap B)}{P (A)}

$P(B\vert A)=\frac{P(A \cap B)}{P(A)}$

O teorema de Bayes é realmente apenas uma conseqüência matemática das definições acima, que podem ser reapresentadas como Eu acho isso simétrico forma do teorema de Bayes para ser muito mais fácil de lembrar. Ou seja, a identidade vale independentemente de qual ou seja rotulado como "anterior" vs. "posterior".

P (B | A) P (A) = P (A \cap B) = P (A | B) P (B)

$P(B\vert A)P(A)=P(A \cap B)=P(A\vert B)P(B)$

p (A)

$p(A)$

p (B)

$p(B)$

(Outra maneira de entender a discussão acima é dada na minha resposta a essa pergunta , de um ponto de vista mais "planilha contábil".)

— GeoMatt22
fonte

9

@gung tem uma ótima resposta. Eu acrescentaria um exemplo para explicar a "iniciação" em um exemplo do mundo real.

Para uma melhor conexão com exemplos do mundo real, eu gostaria de mudar a notação, onde use para representar a hipótese (o em sua equação) e use para representar evidências. (o na sua equação.) $H$ $A$ $E$ $B$

Então a fórmula é

P (H | E) = \frac{P (E | H) P (H)}{P (E)}

$P(H|E) = \frac{P(E|H)P(H)}{P(E)}$

Observe que a mesma fórmula pode ser escrita como

P (H | E) \propto P (E | H) P (H)

$P(H|E) \propto {P(E|H)P(H)}$

onde significa proporcional a e é a probabilidade e é a anterior . Esta equação significa que o posterior será maior, se o lado direito da equação maior. E você pode pensar que é uma constante de normalização para tornar o número em probabilidade (a razão pela qual digo que é uma constante é porque a evidência já é fornecida). $\propto$ $P(E|H)$ $P(H)$ $P(E)$ $E$

Para um exemplo do mundo real, suponha que estamos fazendo alguma detecção de fraude nas transações com cartão de crédito. Então a hipótese seria onde representar que a transação é normal ou fraudulenta. (Eu escolhi um caso extremamente desequilibrado para mostrar a intuição). $H \in \{0,1\}$

Pelo conhecimento do domínio, sabemos que a maioria das transações seria normal, apenas muito poucas são fraudulentas. Vamos supor que um especialista nos disse que há em seria fraude. Então, podemos dizer que o anterior é e . $1$ $1000$ $P(H=1)=0.001$ $P(H=0)=0.999$

O objetivo final é calcular que significa que queremos saber se uma transação é uma fraude que não se baseia nas evidências além das anteriores . Se você olhar para o lado direito da equação, decomporemos em probabilidade e anterior . $P(H|E)$

Onde já explicamos o que é anterior , aqui explicamos o que é probabilidade. Suponha que temos dois tipos de provas, que representam, se estamos vendo localização geográfica normal ou estranho da transação. $E\in\{0,1\}$

$P(E=1|H=0)$ $P(E=1|H=1)$

$E=1$

— Haitao Du
fonte

P (H = 0)

$P(H=0)$

0.999

$0.999$

P (H = 1) = 0.001

$P(H=1)=0.001$

1

Observe que a regra de Bayes é

$P(a|b)=\frac{P(b,a)}{P(b)}=\frac{P(b,a)}{P(b)P(a)}P(a)$

Observe a proporção

\frac{P (b, a)}{P (b) P (a)} .

$\frac{P(b,a)}{P(b)P(a)}.$

$B \perp A$ $P(b,a)=P(b)P(a)$

Curiosamente, o log dessa proporção também está presente em informações mútuas:

I (A | B) = \sum_{a, b} P_{} (a, b) \log \frac{P_{} (b, a)}{P (b) P (a)}

$I(A|B) = \sum_{a,b}P_{}(a,b)\mathbf{\log\frac{P_{}(b,a)}{P(b)P(a)}}$

— user0
fonte

0

$P(A,B)$

probabilidade = proporções de linha posterior = proporções de coluna

O anterior e o marginal são definidos analogicamente, mas com base em "totais" em vez de em uma coluna específica

marginal = proporções totais da linha anterior = proporções totais da coluna

Acho que isso me ajuda.

— probabilityislogic
fonte