Perguntas com a marcação «markov-process»

Eu tenho um conjunto completo de seqüências (432 observações para ser mais preciso) de 4 estados : por exemploA−DA−DA-D Y=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AA−⋮BC−⋮A⎞⎠⎟⎟⎟⎟Y=(ACDDBACBAACA−−⋮⋮⋮⋮⋮⋮⋮BCADABA)Y=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&- &-\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & A\\ …

16 r  matlab  markov-process 

Qual é a diferença entre cadeias de Markov e processos de Markov? Estou lendo informações conflitantes: às vezes a definição se baseia em se o espaço de estados é discreto ou contínuo e, outras vezes, se o tempo é discreto ou contínuo. Slide 20 deste documento : Um processo de …

16 terminology  stochastic-processes  markov-process 

Minha pergunta básica é: como você extrairia uma distribuição inadequada? Faz mesmo sentido colher amostras de uma distribuição imprópria? O comentário de Xi'an aqui aborda a questão, mas eu estava procurando mais alguns detalhes sobre isso. Mais específico para o MCMC: Ao falar sobre o MCMC e ler artigos, os …

15 distributions  bayesian  mcmc  markov-process  improper-prior 

Estou tentando entender as cadeias de Markov usando SAS. Entendo que um processo de Markov é aquele em que o estado futuro depende apenas do estado atual e não do estado passado e existe uma matriz de transição que captura a probabilidade de transição de um estado para outro. Mas …

15 probability  simulation  mcmc  monte-carlo  markov-process 

Eu estava passando por algumas palestras relacionadas ao MCMC. No entanto, não encontro um bom exemplo de como é usado. Alguém pode me dar um exemplo concreto. Tudo o que vejo é que eles administram uma cadeia de Markov e dizem que sua distribuição estacionária é a distribuição desejada. Quero …

14 probability  bayesian  mcmc  markov-process 

Aprendizado por Reforço: Uma Introdução. Segunda edição, em andamento ., Richard S. Sutton e Andrew G. Barto (c) 2012, pp. 67-68. Resolver uma tarefa de aprendizado por reforço significa, basicamente, encontrar uma política que obtenha muitas recompensas a longo prazo. Para MDPs finitos, podemos definir com precisão uma política ideal …

13 markov-process  reinforcement-learning 

Estou procurando um pacote R geral, limpo e rápido (ou seja, usando rotinas C ++) para simular caminhos de uma difusão não-linear não homogênea como (1) usando o esquema de Euler-Maruyama, o esquema de Milstein (ou qualquer outro). Isso está destinado a ser incorporado a um código de estimativa maior …

13 r  simulation  stochastic-processes  markov-process 

Qual seria a maneira comum de estimar a matriz de transição de MC, considerando as séries temporais? Existe função R para fazer isso?

12 markov-process 

Eu acho que entendo a equação da condição de equilíbrio detalhado, que afirma que, para probabilidade de transição e distribuição estacionária , uma Cadeia de Markov satisfaz um balanço detalhado seqqqππ\piq(x|y)π(y)=q(y|x)π(x),q(x|y)π(y)=q(y|x)π(x),q(x|y)\pi(y)=q(y|x)\pi(x), isso faz mais sentido para mim se eu o reafirmar como: q(x|y)q(y|x)=π(x)π(y).q(x|y)q(y|x)=π(x)π(y).\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}. Basicamente, a probabilidade de transição do …

12 probability  mcmc  markov-process 

Tenho alguns problemas para entender a propriedade da cadeia de Markov irredutível . Diz-se que irredutível significa que o processo estocástico pode "ir de qualquer estado para qualquer estado". Mas o que define se ele pode passar do estado para o estado ou não pode ir?jEuiijjj A página da wikipedia …

12 stochastic-processes  markov-process 

Estou lutando para fazer a conexão matemática entre uma rede neural e um modelo gráfico. Nos modelos gráficos, a ideia é simples: a distribuição de probabilidade é fatorada de acordo com as cliques no gráfico, com os potenciais sendo geralmente da família exponencial. Existe um raciocínio equivalente para uma rede …

11 neural-networks  markov-process  graphical-model  deep-learning  deep-belief-networks 

Eu tenho um modelo estocástico usado para simular séries temporais de algum processo. Estou interessado no efeito de alterar um parâmetro para um valor específico e quero mostrar a diferença entre as séries temporais (por exemplo, modelo A e modelo B) e algum tipo de intervalo de confiança baseado em …

11 time-series  predictive-models  markov-process 

Gostaria de resolver o Projeto Euler 213, mas não sei por onde começar, porque sou um leigo no campo da Estatística, observe que é necessária uma resposta precisa para que o método de Monte Carlo não funcione. Você poderia recomendar alguns tópicos estatísticos para eu ler? Por favor, não publique …

11 self-study  monte-carlo  markov-process 

Dada uma série (observada) com , existe um teste estatístico para testar a hipótese nula de que (ou seja, a propriedade markov)?XtXtX_tXt∈{1,...,n}Xt∈{1,...,n}X_t\in\{1,...,n\}P(Xt|Xt−1,Xt−2,...,X1)=P(Xt|Xt−1)P(Xt|Xt−1,Xt−2,...,X1)=P(Xt|Xt−1)P(X_t|X_{t-1},X_{t-2},...,X_1)=P(X_t|X_{t-1})

11 time-series  hypothesis-testing  markov-process 

Atualmente, estou analisando um site que exige a criação de um diagrama em árvore de decisão que mostre a rota provável que as pessoas seguem sempre que chegam ao site. Estou lidando com um data.frameque mostra os caminhos de todos os clientes para o site, começando na página inicial. Por …

10 r  probability  data-visualization  markov-process