Qual é a conexão entre a cadeia de Markov e a cadeia de Markov monte carlo

15

Estou tentando entender as cadeias de Markov usando SAS. Entendo que um processo de Markov é aquele em que o estado futuro depende apenas do estado atual e não do estado passado e existe uma matriz de transição que captura a probabilidade de transição de um estado para outro.

Mas então me deparei com esse termo: cadeia de Markov Monte Carlo. O que eu quero saber é se a Cadeia de Markov Monte Carlo está de alguma forma relacionada ao processo de Markov que eu descrevi acima?

— Vencedor
fonte

9

Bem, sim, existe uma relação entre os dois termos, porque os empates do MCMC formam uma cadeia de Markov. De Gelman, Bayesian Data Analysis (3a ed), p. 265:

A simulação da cadeia de Markov (também chamada Monte Carlo da cadeia de Markov ou MCMC) é um método geral baseado em desenhar valores de de distribuições apropriadas e, em seguida, corrigi-los para melhor aproximar a distribuição posterior alvo, . A amostragem é feita seqüencialmente, com a distribuição dos sorteios amostrados, dependendo do último valor sorteado; portanto, os sorteios formam uma cadeia de Markov. $\theta$ $p(\theta|y)$

— Sycorax diz restabelecer Monica
fonte

Umm ok, mas por que eu preciso para tirar amostras aleatórias formar um processo de Markov, há tantos outros tipos de processos como normal, Bernoulli, possion etc.

— Victor

2

@ Victor Acho que você perdeu de vista o caso de uso do MCMC. Utilizamos o MCMC na estatística bayesiana quando não há forma analítica da distribuição posterior.

— Sycorax diz Restabelecer Monica

3

A estatística bayesiana +1 é talvez a aplicação mais óbvia do MCMC (onde a distribuição alvo é uma articulação posterior), mas não a única possível.

— Glen_b -Reinstate Monica

18

A conexão entre os dois conceitos é que os métodos Monte Carlo da cadeia de Markov (aka MCMC) confiam na teoria da cadeia de Markov para produzir simulações e aproximações de Monte Carlo a partir de uma distribuição alvo complexa . $\pi$

Na prática, esses métodos de simulação produzem uma sequência que é uma cadeia de Markov, ou seja, de tal forma que a distribuição de considerando todo o passado depende apenas de . Em outras palavras, onde $X_1,\ldots,X_N$ $X_i$ $\{X_{i-1},\ldots,X_1\}$ $X_{i-1}$

X_{Eu} = f (X_{Eu - 1}, ϵ_{Eu})

$X_i=f(X_{i-1},\epsilon_i)$

f

$f$ é uma função especificada pelo algoritmo e a distribuição alvo

e os

's são iid. As garantias teoria (ergodic) que

converge (na distribuição) para

como

chega a

.

π

$\pi$

ϵ_{i}

$\epsilon_i$

X_{i}

$X_i$

π

$\pi$

i

$i$

\infty

$\infty$

O exemplo mais fácil de um algoritmo MCMC é o amostrador de fatia : na iteração i deste algoritmo, faça

simular $\epsilon^1_i\sim\mathrm{U}(0,1)$

$X_{i}\sim\mathrm{U}(\{x;\pi(x)\ge\epsilon^1_i\pi(X_{i-1})\})$ $\epsilon^2_i$

$\mathrm{N}(0,1)$

simular ϵ 1 i ∼ U ( 0 , 1 $\epsilon^1_i\sim\mathrm{U}(0,1)$

$X_{i}\sim\mathrm{U}(\{x;x^2\le-2\log(\sqrt{2\pi}\epsilon^1_i\})$ $X_i=\pm \epsilon_i^2\{-2\log(\sqrt{2\pi}\epsilon^1_i)\varphi(X_{i-1})\}^{1/2}$ $\epsilon_i^2\sim\mathrm{U}(0,1)$

ou em R

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

$\mathrm{N}(0,1)$ $(X_i)$

$(X_i,\epsilon^1_i\pi(X_i))$

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

que segue movimentos verticais e horizontais da cadeia de Markov sob a curva de densidade alvo.

— Xi'an
fonte