Estimando probabilidades da cadeia de Markov

12

Qual seria a maneira comum de estimar a matriz de transição de MC, considerando as séries temporais?

Existe função R para fazer isso?

markov-process

— user333
fonte

Esta é uma cadeia markov de estado discreto ou contínuo?

— Macro

Discreto, eu acho. Eu tenho 5 estados possíveis S1 a S5

— #

Com base nas respostas legais anteriores: sim, existe uma maneira que reconhece a posição. Eu acho que é possível por meio de modelos Markov de ordem n.

14

Como a série temporal é discreta, é possível estimar as probabilidades de transição pelas proporções da amostra. Seja o estado do processo no tempo , seja a matriz de transição, então $Y_{t}$ $t$ ${\bf P}$

P_{i j} = P (Y_{t} = j | Y_{t - 1} = i)

${\bf P}_{ij} = P(Y_{t} = j | Y_{t-1} = i)$

Por se tratar de uma cadeia de markov, essa probabilidade depende apenas de , podendo ser estimada pela proporção da amostra. Vamos ser o número de vezes que o processo se mudou de estado a . Então, $Y_{t-1}$ $n_{ik}$ $i$ $k$

{\hat{P}}_{i j} = \frac{n_{i j}}{\sum_{k = 1}^{m} n_{i k}}

$\hat{{\bf P}}_{ij} = \frac{ n_{ij} }{ \sum_{k=1}^{m} n_{ik} }$

onde é o número de estados possíveis ( no seu caso). O denominador, , é o número total de movimentos fora do estado . A estimativa das entradas dessa maneira corresponde realmente ao estimador de probabilidade máxima da matriz de transição, visualizando os resultados como multinomiais, condicionados a . $m$ $m=5$ $\sum_{k=1}^{m} n_{ik}$ $i$ $Y_{t-1}$

Editar: Isso pressupõe que você tenha as séries temporais observadas em intervalos igualmente espaçados. Caso contrário, as probabilidades de transição também dependeriam do intervalo de tempo (mesmo que ainda sejam markovianas).

— Macro
fonte

6

Eu escuto o que você está falando. Frequências observadas basicamente serão minha matriz ... Em poucas palavras!

— User333

E o espaço de estado contínuo? Althou eu estou lutando um pouco para entender o conceito?

— User333

1

Para um espaço de estado contínuo, o problema se torna muito mais complicado, pois você precisa estimar uma função de transição em vez de uma matriz. Nesse caso, uma vez que a probabilidade marginal de estar em qualquer estado específico é 0 (da mesma forma que a probabilidade de pegar qualquer ponto específico no espaço da amostra é 0 para qualquer distribuição contínua) o que eu descrevi acima não faz sentido. No caso contínuo, acredito que a estimativa da função de transição seja a solução para um conjunto de equações diferenciais (não estou muito familiarizado com isso, então alguém me corrija se estiver errado)

— Macro

Esse método não pressupõe 1 observação contínua, em vez de muitas conforme o post abaixo? Por exemplo, imagine E era um estado absorvente ... Então isso não seria revelado aqui com certeza?

— HCAI

4

É muito, com a hipótese de que sua série temporal é estacionária:

Para simplificar a excelente resposta do Macro

Aqui você tem sua série temporal com 5 estados: A, B, C, D, E

AAAEDDDCBEEEDBADBECADAAAACCCDDE

Você só precisa contar primeiro as transições: - deixando transições A: 9 Entre essas 9 transições, 5 são A-> A, 0 A-> B, 1 A-> C, 2 A-> D, 1 A-> E Portanto, a primeira linha da sua matriz de probabilidade de transição é [5/9 0 1/9 2/9 1/9]

Você faz isso contando para cada estado e, em seguida, obtém sua matriz 5x5.

— Mickaël S
fonte

Ótimo exemplo, obrigado. Então, as cadeias de Markov se preocupam apenas com o número de transições, não com sua colocação, correto? Por exemplo, teria AAABBBAuma mesma matriz que ABBBAAA?

— Marcin

sim, com a cadeia de Markov, se você tiver o mesmo número de transição, terá a mesma matriz. É uma boa pergunta. Mesmo você não tem exatamente a mesma sequência, tem o mesmo "comportamento" e isso é o mais importante na modelagem, se você deseja repetir exatamente a mesma sequência, por que modelar? Apenas repita seus dados.

— Mickaël S

Existe outro método de contar transições que reconhece a posição? Estou pesquisando sobre quebra de senhas, então seria bom ter um método de avaliar qual é o próximo personagem mais provável de ocorrer. O problema com as senhas é que as pessoas tendem a seguir regras como colocar * no início e final da senha ou terminar uma senha com 1, portanto, não são apenas as transições que contam, mas também a localização.

— Marcin

ok, eu não pensei nesse caso, você tem certeza de que a cadeia de Markov é a melhor maneira de fazer o que você quer fazer? Se você pensa assim, qual é o seu estado (cada personagem é um estado)? E como você planeja calcular a transição? Como você planeja usar a cadeia markov?

— Mickaël S

1

a função markovchainFit do pacote markovchain lida com o seu problema.

— Giorgio Spedicato
fonte