Máquina de estado finito com tempos de espera distribuídos gama

Eu tenho uma máquina de estado com entradas positivas e negativas. O tempo entre as entradas positivas segue uma distribuição gama ( ), e o tempo entre as entradas negativas segue uma distribuição gama diferente ( ). Assim, as probabilidades de receber positivo e entradas negativas sobre algum intervalo de tempo são exatamente conhecidos por todos . A máquina de estado é mostrada abaixo: $X_+ \sim \Gamma(k_+, \theta_+)$ $X_- \sim \Gamma(k_-, \theta_-)$ $K$ $K$

As caixas azuis representam estados alcançáveis na máquina e as linhas sólida e tracejada representam uma entrada positiva e negativa, respectivamente. Por exemplo, se a máquina estiver no estado 3 e uma entrada positiva chegar, a máquina produzirá uma saída positiva e redefinirá para o estado 2. Se a máquina receber uma entrada negativa, ela se moverá para o estado 1 sem produzir nenhuma saída.

É possível encontrar o PMF para saídas positivas? Ou seja, qual é a probabilidade de obter resultados positivos no mesmo intervalo de tempo para todos os ? $K$ $K$

— madeira
fonte

O problema de apresentar uma versão em brinquedo do seu problema real é que você pode não abstraí-la da maneira que for mais útil para você. (Os não estatísticos costumam se surpreender com os detalhes estatisticamente importantes.) Portanto, descreva o problema real .

— Kodiologist

Obrigado. Não sei muito sobre esse domínio, mas parece que você provavelmente poderia representar o sistema como uma cadeia de Markov.

— Kodiologist

Eu tenho procurado cadeias de Markov em tempo contínuo e não parece que minha máquina de estado satisfaça a propriedade Markov, pois o tempo gasto em cada estado não segue uma distribuição exponencial. Estou morto na água ou há algo mais que eu possa tentar?

— mwoods

(+1) Todos os tempos de espera são independentes um do outro, ou seja, as entradas positivas e negativas formam dois processos de renovação independentes? (Isso, se uma entrada negativa ocorrer no tempo , o tempo para a próxima entrada negativa será independente de todas as ocorrências anteriores de entradas positivas e negativas? E do estado?). Isso provavelmente é planejado, pois nenhuma dependência é especificada (mas precisa ser assumiu desde a descrição como escrito não garante isso)

t

$t$

— Juho Kokkala

@JuhoKokkala, a resposta é sim, eles são independentes um do outro. Se uma entrada negativa chegar no tempo t, o tempo para a próxima entrada negativa não dependerá das entradas anteriores ou do estado atual.

— mwoods

Observe que essa NÃO é uma tentativa de responder completamente ao problema, mas de mostrar como superar a falta da propriedade Markov para um caso especial que pode não se aplicar - um que é muito longo para ser colocado nos comentários.

Infelizmente, como você percebeu, esse não é um processo de Markov, mas um processo semi-Markov. Se você a) tem um número inteiro e eb) está disposto a expandir seu espaço de estado, pode transformá-lo em um processo de Markov usando o fato de que as distribuições Gamma se tornam distribuições Erlang e as variáveis Erlang são uma soma de iid Variáveis exponenciais com o mesmo parâmetro de escala que a variável Erlang original. $k_+$ $k_-$

Podemos expandir o espaço de estado para incluir duas novas variáveis, o "+ state" e o "- state", que registram "quanto tempo" estamos na geração da próxima chegada positiva ou negativa. Para concretude, assuma ; a próxima chegada positiva ocorre quando ocorre a quinta das cinco chegadas exponenciais consecutivas; portanto, o "estado" registra quantas chegadas positivas ocorreram desde a última entrada positiva. A sequência dos valores "+ state" é ; o estado pode fazer a transição apenas para ou , o estado pode fazer a transição apenas para ou e assim por diante. $k_+ = 5$ $\{0, 1, 2, 3, 4, 0, 1, ...\}$ $0$ $0$ $1$ $4$ $4$ $0$

Seu espaço de estado se torna registrando em que caixa está o processo, quantas chegadas positivas ocorreram no módulo e quantas chegadas negativas ocorreram no módulo . $[\text{BoxID},+,-]$ $k_+$ $k_-$

Agora, temos duas variáveis aleatórias - o tempo até a próxima transição "+ state" e o tempo até a próxima transição "- state" - ambas distribuídas exponencialmente. Como o mínimo de duas variáveis exponenciais independentes é ele próprio exponencial, o tempo até a próxima transição (de qualquer tipo) é exponencial com taxa igual à soma das duas taxas componentes ( ou dependendo de como suas distribuições Gamma são parametrizadas). A probabilidade de que a próxima transição seja uma transição "+ state" é apenas ou $\theta_+ + \theta_-$ $1/\theta_+ + 1/\theta_-$ $\theta_+/(\theta_+ + \theta_-)$ $1/\theta_+ / (1/\theta_+ + 1/\theta_-)$ , novamente dependendo de como suas distribuições Gamma são parametrizadas. Como o tempo para a próxima transição agora tem uma distribuição exponencial, você tem um CTMC (Continuous Time Markov Chain), que pode ser analisado de maneira padrão.

Para um exemplo concreto, assuma que as chegadas positivas ocorrem a uma taxa de unidade de tempo e as chegadas negativas ocorrem a uma taxa de unidade de tempo. O tempo até a próxima transição é Exponencial com uma taxa de unidade de tempo e a probabilidade de a transição ser desencadeada por uma chegada positiva é de . $0.5/$ $0.25/$ $0.75/$ $0.5/(0.5+0.25) = 2/3$

Agora você tem um espaço de estado muito ampliado, com cada caixa em seu diagrama inicial com estados internos, mas pelo menos você tem a propriedade Markov e pode encontrar as probabilidades de estado estacionário de estar na caixa 3 e no estados com "+ state" = , ou seja, um dos estados dos quais você pode experimentar uma transição que resulta em uma saída positiva. A combinação dessas probabilidades de estado estacionário com a matriz de transição e o tempo médio entre transições fornece a taxa média de longo prazo de obtenção de um resultado positivo. Você também pode calcular a distribuição de probabilidade desejada usando as probabilidades de estado estacionário, a matriz de transição e o fato de o tempo entre transições ter uma distribuição exponencial com taxa conhecida. $k_+k_-$ $k_+-1$

— jbowman
fonte

Isso é exatamente o que eu precisava. Eu tenho e muito grandes (da ordem de dez mil), portanto a matriz de transição será muito grande. A graça salvadora é que a matriz também é muito esparsa. Muito obrigado!

k_{+}

$k_+$

k_{-}

$k_-$

— mwoods

Bem, com seus parâmetros de forma tão grandes, a distinção entre valores inteiros e não inteiros é discutível! Sim, sparsity será realmente sua graça salvadora ...

— jbowman