Worm e Apple valor esperado

Uma maçã está localizado no vértice $A$ do pentágono $ABCDE$ , e um sem-fim está localizado dois vértices de distância, em $C$ . Todos os dias o verme rasteja com igual probabilidade a um dos dois vértices adjacentes. Assim, depois de um dia, o sem-fim é no vértice $B$ ou $D$ , cada um com probabilidade $1/2$ . Depois de dois dias, o worm pode estar de volta a $C$ novamente, porque não tem memória das posições anteriores. Quando atinge o vértice $A$ , pára para jantar.

(a) Qual é a média do número de dias até o jantar?

(b) Seja p a probabilidade de que o número de dias seja $100$ ou mais. O que a desigualdade de Markov diz sobre $p$ ?

Para (a), seja $X$ a variável aleatória definida pelo número de dias até o jantar. Então

$$P(X = 0) = 0 \\ P(X=1) = 0 \\ P(X=2) = \frac{1}{\binom{5}{2}} \\ \vdots$$

Qual seria a distribuição geral?

Para (b), se conhecemos (a), sabemos que

$$P(X \geq 100) \leq \frac{E(X)}{100}$$

Na excelente resposta de Glen_b , ele mostra que você pode calcular o valor esperado analiticamente usando um sistema simples de equações lineares. Seguindo esse método analítico, você pode determinar que o número esperado de movimentos para a maçã é seis. Outra excelente resposta do whuber mostra como derivar a função de massa de probabilidade para o processo após um determinado número de movimentos, e esse método também pode ser usado para obter uma solução analítica para o valor esperado. Se você deseja obter mais informações sobre esse problema, leia alguns artigos sobre passeios circulares aleatórios (ver, por exemplo, Stephens 1963 )

Para dar uma visão alternativa do problema, mostrarei como você pode obter o mesmo resultado usando o método da força bruta de apenas calcular a cadeia de Markov usando computação estatística. Esse método é inferior ao exame analítico em muitos aspectos, mas tem a vantagem de permitir que você lide com o problema sem exigir nenhuma percepção matemática importante.

---

Método computacional de força bruta: Tomando os estados na ordem , sua cadeia de Markov transita de acordo com a seguinte matriz de transição:$A,B,C,D,E$

$$\mathbf{P} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\[6pt] \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 & 0 \\[6pt] 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 \\[6pt] 0 & 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} \\[6pt] \tfrac{1}{2} & 0 & 0 & \tfrac{1}{2} & 0 \\[6pt] \end{bmatrix}$$

O primeiro estado é o estado de absorção onde o verme está na maçã. Vamos ser o número de movimentos até que o worm chega à maçã do estado . Então, para todos os a probabilidade de o worm estar na maçã após esse número de movimentos é e, portanto, o número esperado de movimentos para chegar à maçã a partir desse estado é:T C C N ∈ N P ( T C ⩽ n ) = { P n } C , $A$$T_C$$C$$n \in \mathbb{N}$$\mathbb{P}(T_C \leqslant n) = \{ \mathbf{P}^n \}_{C,A}$

$$\mathbb{E}(T_C) = \sum_{n=0}^\infty \mathbb{P}(T_C > n) = \sum_{n=0}^\infty (1-\{ \mathbf{P}^n \}_{C,A}).$$

Os termos na soma diminuem exponencialmente para grande, para que possamos calcular o valor esperado para qualquer nível de precisão desejado, truncando a soma em um número finito de termos. (A deterioração exponencial dos termos garante que podemos limitar o tamanho dos termos removidos para ficar abaixo do nível desejado.) Na prática, é fácil aceitar um grande número de termos até que o tamanho dos termos restantes seja extremamente pequeno.$n$

---

Programando isso em R: Você pode programar isso como uma função ao Rusar o código abaixo. Este código foi vetorizado para gerar uma matriz de potências da matriz de transição para uma sequência finita de movimentos. Também geramos um gráfico da probabilidade de que a maçã não seja alcançada, mostrando que isso diminui exponencialmente.

#Create function to give n-step transition matrix for n = 1,...,N
#N is the last value of n
PROB <- function(N) { P <- matrix(c(1, 0, 0, 0, 0, 
                                    1/2, 0, 1/2, 0, 0, 
                                    0, 1/2, 0, 1/2, 0,
                                    0, 0, 1/2, 0, 1/2,
                                    1/2, 0, 0, 1/2, 0),
                                  nrow = 5, ncol = 5, 
                                  byrow = TRUE);
                      PPP <- array(0, dim = c(5,5,N));
                      PPP[,,1] <- P;
                      for (n in 2:N) { PPP[,,n] <- PPP[,,n-1] %*% P; } 
                      PPP }

#Calculate probabilities of reaching apple for n = 1,...,100
N  <- 100;
DF <- data.frame(Probability = PROB(N)[3,1,], Moves = 1:N);

#Plot probability of not having reached apple
library(ggplot2);
FIGURE <- ggplot(DF, aes(x = Moves, y = 1-Probability)) +
          geom_point() +
          scale_y_log10(breaks = scales::trans_breaks("log10", function(x) 10^x),
                        labels = scales::trans_format("log10", 
                                 scales::math_format(10^.x))) +
          ggtitle('Probability that worm has not reached apple') +
          xlab('Number of Moves') + ylab('Probability');
FIGURE;

#Calculate expected number of moves to get to apple
#Calculation truncates the infinite sum at N = 100
#We add one to represent the term for n = 0
EXP <- 1 + sum(1-DF$Probability);
EXP;

[1] 6

Como você pode ver neste cálculo, o número esperado de movimentos para chegar à maçã é seis. Este cálculo foi extremamente rápido usando o código vetorizado acima para a cadeia de Markov.

Só quero ilustrar uma maneira simples de ver a parte (a) sem passar por toda a rotina da cadeia de Markov. Existem duas classes de estados com as quais se preocupar: estar a um passo de distância e a dois passos de distância (C e D são idênticos em termos de etapas esperadas até atingir A e B e E são idênticos). Deixe " " representar o número de etapas necessárias no vértice e assim por diante.$S_B$$B$

$E(S_C) = 1+\frac12[E(S_B)+E(S_D)] = 1+ \frac12[E(S_B)+E(S_C)]$

Da mesma forma, escreva uma equação para a expectativa de .$E(S_B)$

Substitua o segundo pelo primeiro (e, por conveniência, escreva para ) e você obterá uma solução para em algumas linhas.E ( S C ) $c$$E(S_C)$$c$

O problema

Essa cadeia de Markov possui três estados, distintos se o worm está com ou espaços de distância de Seja a variável aleatória, dando quantos passos o worm precisará para atingir do estado Suas funções geradoras de probabilidade são uma maneira algébrica conveniente de codificar as probabilidades dessas variáveis. Não é necessário se preocupar com questões analíticas como a convergência: basta vê-las como séries formais de poder em um símbolo dado por$0,$ $1,$$2$$C.$$X_i$$C$$i\in\{0,1,2\}.$$t$

$$f_i(t) = \Pr(X_i=0) + \Pr(X_i=1)t^1 + \Pr(X_i=2)t^2 + \cdots + \Pr(X_i=n)t^n + \cdots$$

Como é trivial que Precisamos encontrar$\Pr(X_0=0)=1,$$f_0(t)=1.$$f_2.$

Análise e solução

Do estado o worm tem chances iguais de de se mover de volta ao estado ou chegar . A contabilidade para dar esse passo adiciona a todos os poderes de , o equivalente a multiplicar o pgf por , dando$1,$$1/2$$2$$C$$1$$t$$t$

$$f_1 = \frac{1}{2}t\left(f_2 + f_0\right).$$

Da mesma forma, no estado o worm tem chances iguais de permanecer no estado ou atingir o estado onde$2$$2$$1,$

$$f_2 = \frac{1}{2}t\left(f_2 + f_1\right).$$

A aparência de sugere que nosso trabalho será facilitado pela introdução da variável fornecendo$t/2$$x=t/2,$

$$f_1(x) = x(f_2(x) + f_0(x));\quad f_2(x) = x(f_2(x) + f_1(x)).$$

Substituir o primeiro pelo segundo e recuperar dá$f_0=1$

$$f_2(x) = x(f_2(x) + x(f_2(x) + 1))\tag{*}$$

cuja solução única é

$$f_2(x) = \frac{x^2}{1 - x - x^2}.\tag{**}$$

Eu destaquei a equação para enfatizar sua simplicidade básica e sua similaridade formal com a equação que analisando apenas os valores esperados com efeito, pela mesma quantidade de trabalho necessária para encontrar esse número, nós obtemos toda a distribuição.$(*)$$E[X_i]:$

Implicações e simplificação

Da mesma forma, quando é redigido termo a termo e os poderes de são correspondentes, ele afirma que para$(*)$$t$$n\ge 4,$

$$2^n\Pr(X_2=n) = 2^{n-1}\Pr(X_2=n-1) + 2^{n-2}\Pr(X_2=n-2).$$

Esta é a recorrência da famosa sequência de números de Fibonacci

$$(F_n) = (1,1,2,3,5,8,13,21,34,55,89,144,\ldots)$$

(indexado de ). A solução correspondente é essa sequência deslocada em dois lugares (porque não há probabilidade de ou e é fácil verificar se ).$n=0$$(**)$$X_2=0$$X_2=1$$2^2\Pr(X_2=2)=1=2^3\Pr(X_2=3)$

Consequentemente

$$\Pr(X_2 = n) = 2^{-n-2}F_{n-2}.$$

Mais especificamente,

$$\eqalign{ f_2(t) &= 2^{-2}F_0t^2 + 2^{-3}F_1 t^3 + 2^{-4} F_2 t^4 + \cdots \\ &= \frac{1}{4}t^2 + \frac{1}{8}t^3 + \frac{2}{16}t^4 + \frac{3}{32}t^5 + \frac{5}{64}t^6 + \frac{8}{128}t^7 +\frac{13}{256}t^8 + \cdots. }$$

---

A expectativa de é facilmente encontrada avaliando a derivada e substituindo porque (diferenciando os poderes de termo por termo) isso fornece a fórmula$X_2$$f^\prime$$t=1,$$t$

$$f^\prime(1) = \Pr(X_2=0)(0) + \Pr(X_2=1)(1)1^0 + \cdots + \Pr(X_2=n)(n)1^{n-1} + \cdots$$

que, como a soma das probabilidades pelos valores de é precisamente a definição de Tomar a derivada usando produz uma fórmula simples para a expectativa.$X_2,$$E[X_2].$$(**)$

---

Alguns breves comentários

Expandindo como frações parciais, pode ser escrito como a soma de duas séries geométricas. Isso mostra imediatamente que as probabilidades diminuirão exponencialmente. Também produz um formulário fechado para as probabilidades de cauda Usando isso, podemos calcular rapidamente que é um pouco menor que$(**)$$f_2$$\Pr(X_2=n)$$\Pr(X_2 \gt n).$$\Pr(X_2 \ge 100)$$10^{-9}.$

Finalmente, essas fórmulas envolvem a Proporção áurea Esse número é o comprimento de um acorde de um pentágono regular (do lado da unidade), produzindo uma conexão impressionante entre uma cadeia de Markov puramente combinatória no pentágono (que "nada sabe" sobre a geometria euclidiana) e a geometria de um pentágono regular no Plano euclidiano.$\phi = (1 + \sqrt{5})/2.$

Para o número médio de dias até o jantar, condicione o passo dado no primeiro dia. Seja o número de dias até o verme pegar a maçã. Seja o primeiro passo.$X$$F$

Então nós temos

$$E[X]=E[X|F=B] \ [P(F=B)]+E[X|F=D] \ P[F=D]$$

Se o primeiro passo for o worm pega a maçã no dia 2 com probabilidade pela metade ou volta ao vértice com probabilidade pela metade e recomeça. Podemos escrever isso como$B,$$C$

$$E[X|F=B]=2 \left( \frac{1}{2} \right) + \left(2+E[X] \right) \left( \frac{1}{2} \right)=2+\frac{E[X]}{2}$$

Se o primeiro passo é então por simetria, é o mesmo que estar no vértice exceto que o worm deu um único passo,$D,$$C$

$$E[X|F=D]=1+E[X]$$

Juntando tudo, temos

$$E[X] = \left( 2+\frac{E[X]}{2} \right)\left( \frac{1}{2} \right) + \left( 1 + E[X] \right)\left( \frac{1}{2} \right)$$

Resolução para rendimentos de$E[X]$

$$E[X] = 6$$