Detecção de ponto de mudança on-line bayesiana (distribuição preditiva marginal)

Estou lendo o documento on-line de detecção de ponto de mudança bayesiano de Adams e MacKay ( link ).

Os autores começam escrevendo a distribuição preditiva marginal: em que

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} | r_{t}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) (1)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1)$

$x_t$ é a observação no tempo ; $t$
$\textbf{x}_{1:t}$ indica o conjunto de observações até o tempo ; $t$
$r_t \in \mathbb{N}$ é o comprimento de execução atual (o tempo desde o último ponto de mudança, pode ser 0); e
$\textbf{x}_t^{(r)}$ é o conjunto de observações associadas à execução . $r_t$

Eq. 1 está formalmente correto (veja a resposta abaixo de @JuhoKokkala), mas meu entendimento é que, se você quiser realmente fazer uma previsão sobre precisará expandi-la da seguinte forma: $x_{t+1}$

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}, r_{t + 1}} P (x_{t + 1} | r_{t + 1}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) P (r_{t + 1} | r_{t}) (1 b)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t, r_{t+1}} P(x_{t+1} | r_{t+1}, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) P(r_{t+1} | r_t) \qquad (1\text{b})$

Meu raciocínio é que pode muito bem haver um ponto de mudança no tempo (futuro) , mas o posterior cobre apenas até . $t+1$ $P(r_t | \textbf{x}_{1:t})$ $t$

O ponto é que os autores do artigo nos fazem da Eq. 1 como está (veja as Eqs. 3 e 11 no documento), e não 1b. Portanto, eles aparentemente ignoram a possibilidade de um ponto de mudança no tempo ao prever partir dos dados disponíveis no tempo . No início da Seção 2, eles dizem en passant $t+1$ $x_{t+1}$ $t$

Assumimos que podemos calcular a distribuição preditiva [para ] condicional em um determinado comprimento de execução . $x_{t+1}$ $r_t$

que talvez seja onde está o truque. Mas, em geral, essa distribuição preditiva deve se parecer com a Eq. 1b; o que não é o que eles fazem (Eq. 11).

Portanto, não sei se entendi o que está acontecendo. Talvez haja algo engraçado acontecendo com a notação.

Referência

Adams, RP e MacKay, DJ (2007). Detecção de ponto de mudança on-line bayesiano. pré-impressão do arXiv arXiv: 0710.3742.

— lacerbi
fonte

Uma possível explicação é que representa a duração da execução no final do tempo, etapa , que é após o ponto de mudança no tempo . Com isso, a Eq. 1 faz sentido. De fato, uma inicialização do algoritmo é configurada que assume que há um ponto de mudança logo antes do início em . No entanto, a Figura 1 está errada (ou pelo menos enganosa), pois, se houver um ponto de mudança entre e , e entre e como mostrado na Figura 1a, então e

r_{t}

$r_t$

t

$t$

t

$t$

P (r_{0} = 0) = 1

$P(r_0 =0) = 1$

t = 1

$t=1$

t = 4

$t =4$

t = 5

$t=5$

t = 10

$t=10$

t = 11

$t=11$

r_{4}

$r_4$

r_{10}

$r_{10}$ deve ser 0 de acordo com esta notação, e não e conforme Figura 1b.

r_{5}

$r_5$

r_{11}

$r_{11}$

— lacerbi

Há algo estranho acontecendo na Eq. 3 como o fator do meio no summand na última linha é enquanto eu pensava que contém . Eu suspeito que e mudaram de lugar, pois faria sentido. Na Eq. 11, o lado direito parece depender de que não aparece no lado esquerdo, então, ou há algo errado ou eu não entendo a notação.

P (x_{t} ∣ r_{t - 1}, x_{t}^{(r)})

$P(x_t \mid r_{t-1}, x^{(r)}_t)$

x_{t}^{(r)}

$x^{(r)}_t$

x_{t}

$x_t$

t

$t$

t - 1

$t-1$

P (x_{t} ∣ r_{t}, x_{t - 1}^{(r)})

$P(x_t \mid r_t, x^{(r)}_{t-1})$

x_{t}^{(r)}

$x_t^{(r)}$

— Juho Kokkala

@JuhoKokkala: Eu estou feliz que eu não sou o único com esse sentimento ...

— lacerbi

@acerbbi, tenho outra pergunta sobre este artigo e acho que você pode respondê-la, pois parece familiar com o trabalho: stats.stackexchange.com/questions/419988 .

— gwg 31/07/19

Ambos (1) e (1b) estão corretos. O OP tem razão em que (neste modelo) pode haver um ponto de mudança em , e depende se existe um ponto de mudança. Isso não implica problemas com (1), pois os possíveis valores de são totalmente "cobertos" por . significa a distribuição condicional de condicional em . Essa distribuição condicional calcula a média de "tudo o resto", incluindo , condicional em . Assim como alguém poderia escrever, digamos, $t+1$ $x_{t+1}$ $r_{t+1}$ $P(x_{t+1} \mid r_t, x_{1:t})$ $P(x_{t+1} | r_t, x_{1:t})$ $x_{t+1}$ $(r_t, x_{1:t})$ $r_{t+1}$ $(r_t, x_{1:t})$ $P(x_{t+1000} | x_t)$ , que levaria em consideração todas as configurações possíveis dos pontos de mudança, bem como os valores de s ocorrendo entre e . $x_i$ $t$ $t+1000$

No restante, derivo primeiro (1) e depois (1b) com base em (1).

Derivação de (1)

Para quaisquer variáveis aleatórias , temos desde que seja discreto (caso contrário, a soma precisa ser substituída por uma integral). Aplicando isso a : $A,B,C$

P (A ∣ B) = \sum_{c} P (A ∣ B, C = c) P (C = c ∣ B),

$\begin{equation} P(A \mid B) = \sum_c P(A \mid B, C=c)\,P(C=c \mid B), \end{equation}$

C

$C$

x_{t + 1}, x_{1 : t}, r_{t}

$x_{t+1},x_{1:t},r_t$

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} ∣ r_{t}, x_{1 : t}) P (r_{t} ∣ x_{1 : t}),

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x_{1:t})\,P(r_t \mid x_{1:t}), \end{equation}$ que mantém, independentemente de quais sejam as dependências entre , , , ou seja, ainda não há suposições de modelo sido usado. No modelo atual, dado é assumido * como sendo condicionalmente independente dos valores de das execuções anteriores a . Isso implica . Substituindo isso na equação anterior, obtemos

r_{t}

$r_t$

x_{1 : t}

$x_{1:t}$

x_{t + 1}

$x_{t+1}$

x_{t + 1}

$x_{t+1}$

r_{t}, x_{t}^{(r)}

$r_t,x^{(r)}_t$

x

$x$

x_{t}^{(r)}

$x^{(r)}_t$

P (x_{t + 1} ∣ r_{t}, x_{1 : t}) = P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)})

$P(x_{t+1} \mid r_t, x_{1:t}) = P(x_{t+1} \mid r_t, x^{(r)}_t)$

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) P (r_{t} ∣ x_{1 : t}), (1)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x^{(r)}_t)\,P(r_t \mid x_{1:t}), \qquad \qquad \qquad (1) \end{equation}$ que é (1) no OP.

Derivação de (1b)

Vamos considerar a decomposição de sobre os valores possíveis de : $P(x_{t+1} \mid r_t, x^{(r)}_t)$ $r_{t+1}$

P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) = \sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, r_{t}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t}, x_{t}^{(r)}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)P(r_{t+1} \mid r_t, x^{(r)}_t). \end{equation}$

Como se assume * que se um ponto de mudança ocorre em (entre e ) não depende do histórico de , temos . Além disso, como determina se pertence à mesma execução que , temos . Substituindo essas duas simplificações pela fatoração acima, obtemos $t+1$ $x_t$ $x_{t+1}$ $x$ $P(r_{t+1} \mid r_t, x^{(r)}_t) = P(r_{t+1} \mid r_t)$ $r_{t+1}$ $x_{t+1}$ $x_t$ $P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)=P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)$

P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) = \sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t). \end{equation}$ Substituindo isso em (1), obtemos que é OP (1b).

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} (\sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t})) P (r_{t} ∣ x_{1 : t}), (1 b)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} \left(\sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t)\right)\,P(r_t \mid x_{1:t}), \qquad (1b) \end{equation}$

* Observação sobre as premissas de independência condicional do modelo

Com base na rápida navegação do artigo, eu pessoalmente gostaria que as propriedades de independência condicional fossem mais explicitamente declaradas em algum lugar, mas suponho que a intenção é que seja Markoviano e os : s associados a diferentes execuções sejam independentes (dadas as execuções). $r$ $x$

— Juho Kokkala
fonte

(+1) Obrigado. Sim, claro, eu entendo que a Eq. 1 está formalmente correto se alguém assume marginalização implícita sobre . O problema é que, mais tarde, os autores fazem previsões (Eq. 11 no artigo e implicitamente na Eq. 3) e, aparentemente, não estão marginalizando quando as fazem.

r_{t + 1}

$r_{t+1}$

r_{t + 1}

$r_{t+1}$

— lacerbi

Oh. Parece então que eu entendi mal a pergunta - devo excluir isso? Você pode querer esclarecer a questão, atualmente parece que (1) é de alguma forma incorreta (em vez de talvez não é útil)

— Juho Kokkala

Por favor, mantenha esta resposta, que é valiosa. Meu erro de não ter ficado claro o suficiente no meu post original. Tentei esclarecer minha pergunta graças aos seus comentários e de uma maneira que ainda torna essa resposta significativa.

— lacerbi