Verifique a propriedade sem memória de uma cadeia de Markov

17

Suspeito que uma série de sequências observadas sejam uma cadeia de Markov ...

X = (\begin{array}{ccccccc} A & C & D & D & B & A & C \\ B & A & A & C & A & D & A \\ ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ \\ B & C & A & D & A & B & E \end{array})

$X=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&D &A\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & E\\ \end{array}\right)$

No entanto, como eu poderia verificar se eles realmente respeitam a propriedade sem memória de

P (X_{i} = x_{i} | X_{j} = x_{j}) ?

$P(X_i=x_i|X_j=x_j)?$

Ou pelo menos provar que eles são Markov na natureza? Note que estas são sequências empiricamente observadas. Alguma ideia?

EDITAR

Apenas para acrescentar, o objetivo é comparar um conjunto de seqüências previsto dos observados. Gostaríamos de receber comentários sobre a melhor forma de compará-los.

Matriz de transição de primeira ordem

M_{i j} = \frac{x_{i} j}{\sum^{m} x_{i k}}

$M_{ij}=\displaystyle \frac{x_ij}{\sum^mx_{ik}}$ que m = A..E indica

M = (\begin{array}{ccccccc} 0.1834 & 0.3077 & 0.0769 & 0.1479 & 0.2840 \\ 0.4697 & 0.1136 & 0.0076 & 0.2500 & 0.1591 \\ 0.1827 & 0.2404 & 0.2212 & 0.1923 & 0.1635 \\ 0.2378 & 0.1818 & 0.0629 & 0.3357 & 0.1818 \\ 0.2458 & 0.1788 & 0.1173 & 0.1788 & 0.2793 \end{array})

$M=\left(\begin{array}{c c c c c c c} 0.1834& 0.3077 & 0.0769& 0.1479 & 0.2840\\ 0.4697& 0.1136 & 0.0076 & 0.2500 & 0.1591\\ 0.1827& 0.2404& 0.2212 & 0.1923 & 0.1635\\ 0.2378 & 0.1818& 0.0629& 0.3357 & 0.1818\\ 0.2458 & 0.1788& 0.1173 & 0.1788 & 0.2793\end{array}\right)$

Valores próprios de M

E = (\begin{array}{ccccccc} 1.0000 & 0 0 & 0 0 & 0 0 & 0 0 \\ 0 0 & - 0,22283 & 0 0 & 0 0 & 0 0 \\ 0 0 & 0 0 & 0,1344 & 0 0 & 0 0 \\ 0 0 & 0 0 & 0 0 & 0,1136 - 0,0430 Eu & 0 0 \\ 0 0 & 0 0 & 0 0 & 0 0 & 0,1136 + 0,0430 Eu \end{array})

$E =\left(\begin{array}{c c c c c c c} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & -0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0\\ 0 & 0 & 0 & 0.1136 - 0.0430i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430i\\ \end{array}\right)$

Autovetores de M

V = (\begin{array}{ccccccc} 0.4472 & - 0.5852 & - 0.4219 & - 0.2343 - 0.0421 i & - 0.2343 + 0.0421 i \\ 0.4472 & 0.7838 & - 0.4211 & - 0.4479 - 0.2723 i & - 0.4479 + 0.2723 i \\ 0.4472 & - 0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & - 0.0010 & 0.7089 & 0.2123 - 0.0908 i & 0.2123 + 0.0908 i \\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881 i & 0.2546 - 0.3881 i \end{array})

$V =\left(\begin{array}{c c c c c c c} 0.4472& -0.5852 & -0.4219 & -0.2343 - 0.0421i & -0.2343 + 0.0421i\\ 0.4472 & 0.7838 & -0.4211 & -0.4479 - 0.2723i & -0.4479 + 0.2723i\\ 0.4472 & -0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & -0.0010 & 0.7089 & 0.2123 - 0.0908i & 0.2123 + 0.0908i\\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881i & 0.2546 - 0.3881i\\ \end{array}\right)$

markov-process

— HCAI
fonte

As colunas contêm a série e as linhas os elementos das sequências? Qual é o número observado de linhas e colunas?

— Mpgtas 17/09/12

2

Possível duplicado: stats.stackexchange.com/questions/29490/…

— mpiktas

@mpiktas As linhas representam as seqüências observadas independentes de transições pelos estados AD. Existem cerca de 400 seqüências ... Lembre-se de que as seqüências observadas não têm o mesmo comprimento. De fato, em muitos casos, a matriz acima é aumentada por zeros. Obrigado pelo link, a propósito. Parece que ainda há espaço considerável para o trabalho nesse campo. Você tem mais algum pensamento? Saudações,

— HCAI

1

A regressão linear foi um exemplo para reforçar o argumento do meu argumento. Ou seja, talvez você não precise testar a propriedade Markov diretamente, é necessário ajustar apenas algum modem que assuma a propriedade Markov e, em seguida, verifique a validade do modelo.

— mpiktas 19/09/12

1

Lembro-me vagamente de ter visto em algum lugar um teste de hipótese para H0 = {Markov} vs H1 = {Markov order 2}. Isso poderia ajudar.

— Stéphane Laurent

5

Gostaria de saber se o seguinte daria um teste de Pearson válido para proporções da seguinte maneira. $\chi^2$

Estime as probabilidades de transição em uma etapa - você fez isso.
Obter as probabilidades modelo de dois ${\hat{p}}_{U, V} = P r o b [X_{i + 2} = U | X_{i} = V] = \sum_{W \in {A, B, C, D}} P r o b [X_{i + 2} = U | X_{i + 1} = W] P r o b [X_{i + 1} = W | X_{i} = V]$ $\hat p_{U,V} = {\rm Prob}[X_{i+2}=U|X_i=V] = \sum_{W\in\{A,B,C,D\}} {\rm Prob}[X_{i+2}=U|X_{i+1}=W]{\rm Prob}[X_{i+1}=W|X_i=V]$
Obter as probabilidades empíricos de dois passos ${\tilde{p}}_{U, V} = \frac{\sum_{i} # X_{i} = V, X_{i + 2} = U}{\sum_{i} # X_{i} = V}$ $\tilde p_{U,V} = \frac{\sum_i \# X_i = V, X_{i+2} = U}{\sum_i \# X_i = V}$
Estatística de teste forma Pearson $T_{V} = # {X_{i} = V} \sum_{U} \frac{({\hat{p}}_{U, V} - {\tilde{p}}_{U, V})^{2}}{{\hat{p}}_{U, V}}, T = T_{A} + T_{B} + T_{C} + T_{D}$ $T_V = \# \{X_i = V\} \sum_U \frac{(\hat p_{U,V} - \tilde p_{U,V})^2}{\hat p_{U,V}}, \quad T=T_A + T_B + T_C + T_D$

É tentador para mim pensar que cada , de modo que o total . No entanto, não tenho muita certeza disso e agradeceria sua opinião sobre isso. Eu não sou também não co sertain sobre se é preciso ser paranóico sobre a independência, e gostaria de dividir a amostra em metades para estimar e . $T_U \sim \chi^2_3$ $T\sim \chi^2_{12}$ $\hat p$ $\bar p$

— StasK
fonte

As probabilidades não precisam ter uma distribuição normal com média 0 e variância = 1 para que isso ocorra? Eu ficaria muito interessado em saber o que alguém pensa aqui.

— HCAI 25/09/12

É assim que os termos da soma devem ser, assintoticamente com grandes contagens.

— Stask

6

A propriedade Markov pode ser difícil de testar diretamente. Mas pode ser suficiente ajustar um modelo que assume a propriedade Markov e depois testar se o modelo é válido. Pode acontecer que o modelo ajustado seja uma boa aproximação útil para você na prática, e você não precisa se preocupar se a propriedade Markov realmente é válida ou não.

O paralelo pode ser desenhado para a regressão linear. A prática usual não é testar se a linearidade é válida, mas se o modelo linear é uma aproximação útil.

— mpiktas
fonte

Essa parece ser a melhor opção na realidade, apenas não posso comparar um modelo linear a nenhum dado experimental real. Ou você tinha outra coisa em mente?

— HCAI

6

Para concretizar a sugestão da resposta anterior, primeiro você deseja estimar as probabilidades de Markov - assumindo que seja Markov. Veja a resposta aqui: Estimando as probabilidades da cadeia de Markov

Você deve obter uma matriz 4 x 4 com base na proporção de transições de estado A para A, de A para B, etc. Chame esta matriz . deve ser, em seguida, a matriz de transição de dois passos: A para A em 2 passos, e assim por diante. Você pode então testar se a sua matriz de transição de 2 etapas observada é semelhante ao . $M$ $M^2$ $M^2$

Como você possui muitos dados para o número de estados, pode estimar partir da metade dos dados e testar usando a outra metade - você está testando frequências observadas em relação às probabilidades teóricas de um multinomial. Isso deve lhe dar uma idéia de quão longe você está. $M$ $M^2$

Outra possibilidade seria ver se as proporções do estado básico: tempo de proporção gasto em A, tempo gasto em B, corresponde ao vetor próprio da unidade de valor próprio de M. Se sua série atingiu algum tipo de estado estacionário, a proporção de tempo em cada Estado deve tender a esse limite.

— Placidia
fonte

Há um pouco para tomar there.I calcularam a transição da matriz

, mas não tenho certeza de como você calcular o

empiricamente. Você poderia esclarecer esse ponto? Atenciosamente,

M

$M$

M^{2}

$M^2$

— HCAI

Além disso, o último comentário é muito interessante, embora eu não tenha tempo gasto em cada estado das minhas seqüências observadas. Eu só tenho o tempo total para cada linha. Portanto, isso pode limitar a aplicabilidade desse método. Quais são seus pensamentos?

— HCAI 20/09/12

1

Faça da mesma maneira que você fez M, apenas em vez de olhar para as transições vizinhas mais próximas (digamos, sequências AB), observe pares que estão separados por 2. Portanto, se um sujeito for ACB, isso conta para a sua contagem de transição AB. O mesmo acontece com a ABB. Crie uma matriz em que o item da linha i, coluna j, contenha as transições de i para j. Em seguida, divida pelos totais da coluna. Você quer que as colunas para resumir a 1. Sob a propriedade de Markov, essa matriz deve ser perto de

M^{2}

$M^2$

— Placidia

RE: equilíbrio. Eu estava assumindo que as transições ocorrem em momentos determinados - digamos, a cada segundo, você passa do estado atual para o próximo estado. Você pode medir a frequência dos estados A, B, C e D perto do final das sequências ou entre sequências para estimar o comportamento do limite.

— Placidia

Em R, se você fizer o eigen (M), deverá obter os autovalores e autovetores de M. Um autovalor será 1. O autovetor correspondente deve ser proporcional às proporções no estado estacionário .... se Markov.

— Placidia

2

Além da propriedade Markov (MP), uma propriedade adicional é a homogeneidade do tempo (TH): pode ser Markov, mas com sua matriz de transição dependendo do tempo . Por exemplo, pode depender do dia da semana em se as observações forem diárias e, em seguida, uma dependência em condicionada a pode ser diagnosticada se TH for indevidamente assumido. $X_t$ $\mathbf{P}(t)$ $t$ $t$ $X_t$ $X_{t-7}$ $X_{t-1}$

Supondo que TH seja válido, uma possível verificação para MP está testando que é independente de condicional em , como sugeriram Michael Chernick e StasK. Isso pode ser feito usando um teste para tabela de contingência. Podemos construir as tabelas de contingência de e condicionais em para os valores possíveis $X_t$ $X_{t-2}$ $X_{t-1}$ $n$ $X_t$ $X_{t-2}$ $\{X_{t-1} = x_j\}$ $n$ $x_j$ e teste a independência. Isso também pode ser feito usando com no lugar de . $X_{t-\ell}$ $\ell > 1$ $X_{t-2}$

Em R, tabelas de contingência ou matrizes são facilmente produzido graças ao factor de instalação e as funções apply, sweep. A idéia acima também pode ser explorada graficamente. Os pacotes ggplot2 ou lattice fornecem facilmente gráficos condicionais para comparar distribuições condicionais . Por exemplo, definindo como índice de linha $p(X_t \vert X_{t-1}=x_j, X_{t-2} = x_i)$ $i$ $j$ como o índice da coluna em treliça no MP deve levar a distribuições semelhantes dentro de uma coluna.

O cap. 5 do livro A análise estatística de processos estocásticos no tempo de JK Lindsey contém outras idéias para verificar suposições.

enter image description here

[## simulates a MC with transition matrix in 'trans', starting from 'ini'
simMC <- function(trans, ini = 1, N) {
  X <- rep(NA, N)
  Pcum <- t(apply(trans, 1, cumsum))
  X[1] <- ini 
  for (t in 2:N) {
    U <- runif(1)
    X[t] <- findInterval(U, Pcum[X[t-1], ]) + 1
  }
  X
}
set.seed(1234)
## transition matrix
P <- matrix(c(0.1, 0.1, 0.1, 0.7,
              0.1, 0.1, 0.6, 0.2,
              0.1, 0.3, 0.2, 0.4,
              0.2, 0.2, 0.3, 0.3),
            nrow = 4, ncol = 4, byrow = TRUE)
N <- 2000
X <- simMC(trans = P, ini = 1, N = N)
## it is better to work with factors
X <- as.factor(X)
levels(X) <- LETTERS[1:4]
## table transitions and normalize each row
Phat <- table(X[1:(N-1)], X[2:N])
Phat <- sweep(x = Phat, MARGIN = 1, STATS = apply(Phat, 1, sum), FUN = "/")
## explicit dimnames
dimnames(Phat) <- lapply(list("X(t-1)=" ,"X(t)="),
                         paste, sep = "", levels(as.factor(X)))
## transition 3-fold contingency array
P3 <- table(X[1:(N-2)], X[2:(N-1)], X[3:N])
dimnames(P3) <- lapply(list("X(t-2)=", "X(t-1)=" ,"X(t)="),
                       paste, sep = "", levels(as.factor(X)))
## apply ONE indendence test 
fisher.test(P3[ , 1, ], simulate.p.value = TRUE)
## plot conditional distr.
library(lattice)
X3 <- data.frame(X = X[3:N], lag1X =  X[2:(N-1)], lag2X = X[1:(N-2)])
histogram( ~ X | lag1X + lag2X, data = X3, col = "SteelBlue3")

]

— Yves
fonte

2

Penso que placida e mpiktas deram abordagens muito atenciosas e excelentes.

$P(X_i=x|X_{i-1}=y)$ $P(X_i=x|X_{i-1}=y \text{ and } X_{i-2}=z)$

$x$ $y$ $z$ $z$ $y$ $x$ $z$ $y$ $x$ $x$ $y$ $x$ $x$

Então a estatística do teste seria a diferença entre essas proporções estimadas. A complicação para a comparação padrão das seqüências de Bernoulli é que elas estão correlacionadas. Mas você pode fazer um teste de autoinicialização de proporções binomiais neste caso.

$0$ $1$ $(0,0)$ , $(0,1)$ , $(1,0)$ and $(1,1)$ where the first component is the two stage outcome and the second is the corresponding three stage outcome. You can then apply McNemar's test to the table.

— Michael R. Chernick
fonte

I see what you are referring to here although I'm finding the first paragraph very terse however. For example "Compute sample estimates[...], then test for difference in proportions". What do you mean by sample estimates? Surely there would be no variance in

P (X_{i} | X_{i - 1} = y)

$P(X_i|X_{i-1}=y)$ or am I misunderstanding your train of thought?

— HCAI

@user1134241 You mentioned "empirically observed", I assumed that you have data from this stochastic sequence. If you want to estimate P(X

_{i}

$_i$ =x|X

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$ =y) for each index i-1 where X

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$ =y, count the number of times X

_{i}

$_i$ = x and divide it by the number of times X

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$ = y (regardless of what X

_{i}

$_i$ equals). That is an estimate because the observed finite sequence is just a sample of a portion of a sequence of the stochastic process.

— Michael R. Chernick

In your last paragraph, let me ask what constitute a success and exactly? In the case where you say a two-step transition: are you saying

i \to j \to i

$i\rightarrow j\rightarrow i$ and a 3-step would be

i \to j \to k \to i

$i\rightarrow j\rightarrow k\rightarrow i$ ?

— HCAI

1

You could bin the data into evenly spaced intervals, then compute the unbiased sample variances of subsets $\{X_{n+1}:X_n=x_1,X_{n-k}=x_2\}$ . By the law of total variance,

V a r [E (X_{n + 1} | X_{n}, X_{n - k}) | X_{n}] = V a r [X_{n + 1} | X_{n}] - E (V a r [X_{n + 1} | X_{n}])

$\mathrm{Var}[E(X_{n+1}|X_n,X_{n-k})|X_n] = \mathrm{Var}[X_{n+1}|X_n]-E(\mathrm{Var}[X_{n+1}|X_n])$

The LHS, if it is almost zero, provides evidence that the transition probabilities do not depend on $X_{n-k}$ , though it is clearly a weaker statement: e.g., let $X_{n+1}\sim N(X_n,X_{n-1})$ . Taking the expected value of both sides of the above equation, the RHS can be computed from the sample variances (i.e., replacing expected values with averages). If the expected value of the variance is zero then the variance is 0 almost always.

— Luke O'Connor
fonte