Por que as pessoas usam o termo “peso da evidência” e como ele difere de “informações mútuas pontuais”?

Aqui, "peso da evidência" (WOE) é um termo comum na literatura científica e de elaboração de políticas, mais frequentemente vista no contexto da avaliação de riscos, definida por:

onde é evidência, h é hipótese.$e$$h$

Agora, quero saber qual é a principal diferença com o PMI (informações mútuas pontuais)

Mesmo parecendo semelhantes, são coisas bem diferentes. Vamos começar com as principais diferenças.

• é algo diferente no PMI e no WOE$h$
  Observe o termo no PMI. Isso implica que h é uma variável aleatória da qual você pode calcular a probabilidade. Para um bayesiano, isso não é problema, mas se você não acredita que as hipóteses podem ter uma probabilidadea priori,você não pode nem escrever o PMI para hipóteses e evidências. No WOE, h é um parâmetro da distribuição e as expressões são sempre definidas.$p(h)$$h$$h$

• PMI é simétrico, WOE não é
  trivialmente, . No entanto, w ( h : e ) = log p ( h | e ) / p ( h | ˉ e ) não precisa ser definido devido ao termo ˉ e . Mesmo quando é, geralmente não é igual a w ( e : $pmi(e,h) = pmi(h,e)$$w(h:e) = \log p(h|e)/p(h|\bar{e})$$\bar{e}$ .$w(e:h)$

Fora isso, WOE e PMI têm semelhanças.

O peso da evidência diz o quanto a evidência fala em favor de uma hipótese. Se for 0, significa que não fala a favor nem contra. Quanto mais alto, mais valida a hipótese , e quanto menor, mais valida ˉ h .$h$$\bar{h}$

As informações mútuas quantificam como a ocorrência de um evento ( ou h ) diz algo sobre a ocorrência do outro evento. Se for 0, os eventos são independentes e a ocorrência de um não diz nada sobre o outro. Quanto mais alto, mais frequentemente eles co-ocorrem e, quanto menor, mais eles se excluem mutuamente.$e$$h$

E os casos em que a hipótese também é uma variável aleatória e ambas as opções são válidas? Por exemplo, na comunicação através de um canal barulhento binário, a hipótese é h o sinal emitido para decodificar e a evidência é o sinal recebido. Dizer que a probabilidade de inversão é 1 / 1000 , de modo que se você receber um 1 , o AI para 1 é log 0,999 / 0,001 = 6,90 . O PMI, por outro lado, depende da probabilidade de emitir um 1 . Você pode verificar que, quando a probabilidade de emitir 1 tende a 0, o PMI tende a $h$$h$$1/1000$$1$$1$$\log 0.999/0.001 = 6.90$$1$$1$$6.90$, enquanto tende a quando a probabilidade de emitir um 1 tende a 1 .$0$$1$$1$

Esse comportamento paradoxal ilustra duas coisas:

1. Nenhum deles é adequado para adivinhar a emissão. Se a probabilidade de emissão de um cai abaixo de 1 / 1000 , a emissão mais provável é 0 até ao receber um um . No entanto, para pequenas probabilidades de emitir 1, o WOE e o PMI estão próximos de 6,90 .$1$$1/1000$$0$$1$$1$$6.90$

2. O PMI é um ganho de informações (de Shannon) sobre a realização da hipótese; se a hipótese é quase certa, nenhuma informação é obtida. O WOE é uma atualização de nossas probabilidades anteriores , que não depende do valor dessas probabilidades.