Alguém resolveu o exercício 4.1 do PTLOS?

Este é um exercício apresentado na Teoria da Probabilidade: A Lógica da Ciência por Edwin Jaynes, 2003. Há uma solução parcial aqui . Eu elaborei uma solução parcial mais geral e queria saber se mais alguém a resolveu. Vou esperar um pouco antes de postar minha resposta, para dar uma chance aos outros.

Ok, então suponha que temos hipóteses mutuamente exclusivas e exaustivas, denotadas por . Suponhamos ainda que temos conjuntos de dados, denotados por D_j \; \; (j = 1, \ dots, m) . A razão de verossimilhança da i-ésima hipótese é dada por:$n$$H_i \;\;(i=1,\dots,n)$$m$$D_j \;\;(j=1,\dots,m)$

$$LR(H_{i})=\frac{P(D_{1}D_{2}\dots,D_{m}|H_{i})}{P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})}$$

Observe que essas são probabilidades condicionais. Agora, suponha que, dada a i-ésima hipótese $H_{i}$ os $m$ conjuntos de dados sejam independentes, portanto, temos:

$$P(D_{1}D_{2}\dots,D_{m}|H_{i})=\prod_{j=1}^{m}P(D_{j}|H_{i}) \;\;\;\; (i=1,\dots,n)\;\;\;\text{Condition 1}$$

Agora seria bastante conveniente se o denominador também considerasse essa situação, para que tenhamos:

$$P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})=\prod_{j=1}^{m}P(D_{j}|\overline{H}_{i}) \;\;\;\; (i=1,\dots,n)\;\;\;\text{Condition 2}$$

Nesse caso, a taxa de probabilidade será dividida em um produto de fatores menores para cada conjunto de dados, para que tenhamos:

$$LR(H_i)=\prod_{j=1}^{m}\frac{P(D_{j}|H_{i})}{P(D_{j}|\overline{H}_{i})}$$

Portanto, nesse caso, cada conjunto de dados "votará em $H_i$ " ou "votará em $H_i$ " independentemente de qualquer outro conjunto de dados.

O exercício é para provar que, se $n>2$ (mais de duas hipóteses), não existe uma maneira não trivial pela qual esse fatoramento possa ocorrer. Ou seja, se você assumir que a condição 1 e a condição 2 se mantêm, no máximo um dos fatores:

$$\frac{P(D_{1}|H_{i})}{P(D_{1}|\overline{H}_{i})}\frac{P(D_{2}|H_{i})}{P(D_{2}|\overline{H}_{i})}\dots\frac{P(D_{m}|H_{i})}{P(D_{m}|\overline{H}_{i})}$$ é diferente de 1 e, portanto, apenas 1 conjunto de dados contribuirá para a taxa de probabilidade.

Pessoalmente, achei esse resultado bastante fascinante, porque basicamente mostra que o teste de hipóteses múltiplas não passa de uma série de testes de hipóteses binárias.

A razão pela qual aceitamos a eq. 4.28 (no livro, sua condição 1) foi que assumimos a probabilidade dos dados, dada uma certa hipótese e as informações de base são independentes, em outras palavras, para qualquer e com :$H_a$$X$$D_i$$D_j$$i\neq{j}$

$$\begin{equation}P(D_i|D_jH_aX)=P(D_i|H_aX)\quad\quad{\rm (1)}\end{equation}$$ extensibilidade além do caso binário pode, portanto, ser discutida assim: Se assumirmos a equação .1 para ser verdade, a eq.2 também é verdadeira?

$$\begin{equation}P(D_i|D_j\overline{H_a}X)\stackrel{?}{=}P(D_i|\overline{H_a}X)\quad\quad{\rm (2)}\end{equation}$$ Primeiro vamos olhar para o lado esquerdo da eq.2, usando a regra de multiplicação:

$$\begin{equation}P(D_i|D_j\overline{H_a}X)=\frac{P(D_iD_j\overline{H_a}|X)}{P(D_j\overline{H_a}|X)}\quad\quad{\rm (3)}\end{equation}$$ Como as hipóteses são assumidas mutuamente exclusivas e exaustivas, podemos escrever: Assim, a eq.3 se torna: No caso de termos apenas duas hipóteses, os somatórios são removidos (uma vez que existe apenas um ), os termos iguais no nominador e denominador, ), cancele a eq.2 está comprovada correta, pois$n$$\{H_1\dots{H_n}\}$ $$\overline{H_a}=\sum_{b\neq{a}}H_b$$ $$P(D_i|D_j\overline{H_a}X)=\frac{\sum_{b\neq{a}}P(D_i|D_jH_bX)P(D_jH_b|X)}{\sum_{b\neq{a}}P(D_jH_b|X)}=\frac{\sum_{b\neq{a}}P(D_i|H_bX)P(D_jH_b|X)}{\sum_{b\neq{a}}P(D_jH_b|X)}$$ $b\neq{a}$$P(D_jH_b|X$$H_b=\overline{H_a}$ . Portanto, a equação 4.29 pode ser derivada da equação 4.28 no livro. Mas quando temos mais de duas hipóteses, isso não acontece, por exemplo, se tivermos três hipóteses: , a equação acima se torna: Em outras palavras: A única maneira pela qual essa equação pode produzir a eq.2 é que ambos os denominadores sejam iguais a 1, ou seja, ambas as frações na os denominadores devem ser iguais a zero. Mas isso é impossível.$\{H_1, H_2, H_3\}$ $$P(D_i|D_j\overline{H_1}X)=\frac{P(D_i|H_2X)P(D_jH_2|X)+P(D_i|H_3X)P(D_jH_3|X)}{P(D_jH_2|X)+P(D_jH_3|X)}$$ $$P(D_i|D_j\overline{H_1}X)=\frac{P(D_i|H_2X)}{1+\frac{P(D_jH_3|X)}{P(D_jH_2|X)}}+\frac{P(D_i|H_3X)}{1+\frac{P(D_jH_2|X)}{P(D_jH_3|X)}}$$

Certo, então, em vez de derivar a equação de Saunder (5), vou declarar aqui. As condições 1 e 2 implicam a seguinte igualdade:

$$\prod_{j=1}^{m}\left(\sum_{k\neq i}h_{k}d_{jk}\right)=\left(\sum_{k\neq i}h_{k}\right)^{m-1}\left(\sum_{k\neq i}h_{k}\prod_{j=1}^{m}d_{jk}\right)$$ que $$d_{jk}=P(D_{j}|H_{k},I)\;\;\;\;h_{k}=P(H_{k}|I)$$

Agora podemos nos especializar para o caso (dois conjuntos de dados) pegando e . Observe que esses dois conjuntos de dados ainda satisfazem as condições 1 e 2; portanto, o resultado acima se aplica a eles também. Agora, expandindo no caso , obtemos:$m=2$$D_{1}^{(1)}\equiv D_{1}$$D_{2}^{(1)}\equiv D_{2}D_{3}\dots D_{m}$$m=2$

$$\left(\sum_{k\neq i}h_{k}d_{1k}\right)\left(\sum_{l\neq i}h_{l}d_{2l}\right)=\left(\sum_{k\neq i}h_{k}\right)\left(\sum_{l\neq i}h_{l}d_{1l}d_{2l}\right)$$

$$\rightarrow\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{1k}d_{2l}=\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{1l}d_{2l}$$

$$\rightarrow\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{2l}(d_{1k}-d_{1l})=0\;\;\;\;\;\;\; (i=1,\dots,n)$$

O termo ocorre duas vezes no somatório duplo acima, uma vez quando e e mais uma vez quando e . Isso ocorrerá enquanto . O coeficiente de cada termo é dado por e . Agora, porque existem dessas equações, podemos realmente remover dessas equações. Para ilustrar, ter , agora Isto significa que temos todas as condições, excepto em que e . Agora pegue$(d_{1a}-d_{1b})$$k=a$$l=b$$k=b$$l=a$$a,b\neq i$$d_{2b}$$-d_{2a}$$i$$i$$i=1$$a=1,b=2$$b=1,a=2$$i=3$, e agora podemos ter essas duas condições (observe que isso pressupõe pelo menos três hipóteses). Portanto, a equação pode ser reescrita como:

$$\sum_{l>k}h_{k}h_{l}(d_{2l}-d_{2k})(d_{1k}-d_{1l})=0$$

Agora, cada um dos termos deve ser maior que zero; caso contrário, estamos lidando com a hipótese , e a resposta pode ser reformulada em termos de . Portanto, eles podem ser removidos do conjunto de condições acima:$h_i$$n_{1}<n$$n_{1}$

$$\sum_{l>k}(d_{2l}-d_{2k})(d_{1k}-d_{1l})=0$$

Portanto, existem condições que devem ser satisfeitas e cada condição implica uma de duas "sub-condições": para ou (mas não necessariamente ambos). Agora temos um conjunto de todos os pares únicos para . Se pegarmos desses pares para um dos , teremos todos os números no conjunto e . Isso ocorre porque o primeiro par possui elementos e cada par adicional traz pelo menos um elemento adicional ao conjunto *$\frac{n(n-1)}{2}$$d_{jk}=d_{jl}$$j=1$$j=2$$(k,l)$$d_{jk}=d_{jl}$$n-1$$j$$1,\dots,n$$d_{j1}=d_{j2}=\dots=d_{j,n-1}=d_{j,n}$$2$

Mas observe que, como existem condições , devemos escolher pelo menos o menor número inteiro maior que ou igual a para um dos ou . Se , o número de termos escolhido é maior que . Se ou , devemos escolher exatamente termos . Isso implica que . Somente com duas hipóteses ( ) é onde isso não ocorre. Mas a partir da última equação no artigo de Saunder, essa condição de igualdade implica:$\frac{n(n-1)}{2}$$\frac{1}{2}\times\frac{n(n-1)}{2}=\frac{n(n-1)}{4}$$j=1$$j=2$$n>4$$n-1$$n=4$$n=3$$n-1$$d_{j1}=d_{j2}=\dots=d_{j,n-1}=d_{j,n}$$n=2$

$$P(D_{j}|\overline{H}_{i})=\frac{\sum_{k\neq i}d_{jk}h_{k}}{\sum_{k\neq i}h_{k}}=d_{ji}\frac{\sum_{k\neq i}h_{k}}{\sum_{k\neq i}h_{k}}=d_{ji}=P(D_{j}|H_{i})$$

Portanto, na razão de verossimilhança, temos:

$$\frac{P(D_{1}^{(1)}|H_{i})}{P(D_{1}^{(1)}|\overline{H}_{i})}=\frac{P(D_{1}|H_{i})}{P(D_{1}|\overline{H}_{i})}=1 \text{ OR} \frac{P(D_{2}^{(1)}|H_{i})}{P(D_{2}^{(1)}|\overline{H}_{i})}=\frac{P(D_{2}D_{3}\dots,D_{m}|H_{i})}{P(D_{2}D_{3}\dots,D_{m}|\overline{H}_{i})}=1$$

Para concluir a prova, observe que, se a segunda condição persistir, o resultado já está comprovado e apenas uma proporção poderá ser diferente de 1. Se a primeira condição , poderemos repetir a análise acima e . Então teríamos não contribuindo ou sendo o único colaborador. Teríamos então uma terceira quando não contribuísse com a retenção, e assim por diante. Assim, apenas um conjunto de dados pode contribuir para a razão de verossimilhança quando a condição 1 e a condição 2 se mantêm, e há mais de duas hipóteses.$D_{1}^{(2)}\equiv D_{2}$$D_{2}^{(2)}\equiv D_{3}\dots,D_{m}$$D_{1},D_{2}$$D_{2}$$D_{1}D_{2}$

* NOTA: Um par adicional pode não trazer novos termos, mas isso seria compensado por um par que trazia 2 novos termos. por exemplo, considere como o primeiro [+2], [+1] [+0], mas o próximo termo deve tenha para ambos . Isso adicionará dois termos [+2]. Se , não precisamos mais escolher, mas para o "outro" devemos escolher os 3 pares que não são . Estes são e, portanto, a igualdade se mantém, porque todos os números estão no conjunto.$d_{j1}=d_{j2}$$d_{j1}=d_{j3}$$d_{j2}=d_{j3}$$d_{jk}=d_{jl}$$k,l\notin (1,2,3)$$n=4$$j$$(1,2),(2,3),(1,3)$$(1,4),(2,4),(3,4)$$(1,2,3,4)$

Para o registro, aqui está uma prova um pouco mais extensa . Ele também contém algumas informações básicas. Talvez isso seja útil para outras pessoas que estudam o tópico.

A idéia principal da prova é mostrar que as condições 1 e 2 de Jaynes implicam que

$$P(D_{m_k}|H_iX)=P(D_{m_k}|X),$$ para todos, exceto um conjunto de dados $m_k=1,\ldots,m$ . Em seguida, mostra que, para todos esses conjuntos de dados, também temos $$P(D_{m_k}|\overline H_iX)=P(D_{m_k}|X).$$ Portanto, temos para todos, exceto um conjunto de dados, $$\frac{P(D_{m_k}|H_iX)}{P(D_{m_k}|\overline H_iX)} = \frac{P(D_{m_k}|X)}{P(D_{m_k}|X)} = 1.$$ A razão que eu queria incluir a prova aqui é que alguns dos passos envolvidos não são de todo óbvio, e é preciso tomar cuidado para não usar qualquer outra coisa do que condições 1 e 2 e a regra do produto (como muitas das outras provas implicitamente). Olink acimainclui todas essas etapas em detalhes. Está no meu Google Drive e assegurarei que ele permaneça acessível.