Por que os passeios aleatórios são correlacionados?

Eu observei que, em média, o valor absoluto do coeficiente de correlação de Pearson é uma constante próxima a qualquer par de passeios aleatórios independentes, independentemente do comprimento do passeio.0.560.42

Alguém pode explicar esse fenômeno?

Eu esperava que as correlações diminuíssem à medida que o comprimento da caminhada aumenta, como em qualquer sequência aleatória.

Para minhas experiências, usei caminhadas gaussianas aleatórias com média de passo 0 e desvio padrão de passo 1.

ATUALIZAR:

Eu esqueci de centralizar os dados, é por isso que eles foram 0.56substituídos 0.42.

Aqui está o script Python para calcular as correlações:

import numpy as np
from itertools import combinations, accumulate
import random

def compute(length, count, seed, center=True):
    random.seed(seed)
    basis = []
    for _i in range(count):
        walk = np.array(list(accumulate( random.gauss(0, 1) for _j in range(length) )))
        if center:
            walk -= np.mean(walk)
        basis.append(walk / np.sqrt(np.dot(walk, walk)))
    return np.mean([ abs(np.dot(x, y)) for x, y in combinations(basis, 2) ])

print(compute(10000, 1000, 123))

Seus processos independentes não estão correlacionados! Se e Y t são passeios aleatórios independentes:$X_t$$Y_t$

• Um coeficiente de correlação incondicional no tempo não existe. (Não fale sobre .)$\operatorname{Corr}(X, Y)$
• Para qualquer momento , Corr ( X t , Y t ) é realmente 0.$t$$\operatorname{Corr}(X_t, Y_t)$
• Mas exemplos de estatísticas baseadas em médias de séries temporais não convergirão para nada! O coeficiente de correlação da amostra calculado com base na média de várias observações ao longo do tempo não faz sentido.

Intuitivamente, você pode adivinhar (incorretamente) que:

1. A independência entre dois processos e { Y t } implica que eles têm correlação zero. (Para duas caminhadas aleatórias, Corr ( X , Y ) não existe.)$\{X_t\}$$\{Y_t\}$$\operatorname{Corr}(X, Y)$
2. A série temporal, correlação amostra ρ X Y (isto é, o coeficiente de correlação calculado utilizando séries temporais, as amostras estatísticas, tais como ^ μ X = 1$\hat{\rho}_{XY}$) irá convergir para o coeficiente de correlação populacionalρXYcomoT→∞.$\hat{\mu_X} = \frac{1}{T} \sum_{\tau = 1}^T X_\tau$$\rho_{XY}$$T \rightarrow \infty$

O problema é que nenhuma dessas afirmações é verdadeira para passeios aleatórios! (Eles são verdadeiros para processos com melhor comportamento.)

Para processos não estacionários:

• Você pode falar sobre a correlação entre processos e { Y t } em quaisquer dois momentos específicos (por exemplo, Corr ( X 2 , Y 3 ) é uma afirmação perfeitamente sensata.)$\{X_t\}$$\{Y_t\}$$\operatorname{Corr}(X_2, Y_3)$
• Mas não faz sentido falar sobre a correlação entre as duas séries incondicionalmente no prazo! não tem um significado bem definido.$\operatorname{Corr}(X, Y)$

Os problemas no caso de uma caminhada aleatória?

1. Para uma caminhada aleatória , não existem momentos incondicionais da população (isto é, que não dependem do tempo ), como E [ X ] . (Em certo sentido, eles são infinitos.) Da mesma forma, o coeficiente de correlação incondicional ρ X Y entre dois passeios aleatórios independentes não é zero; de fato, não existe!$t$$\operatorname{E}[X]$$\rho_{XY}$
2. As suposições dos teoremas ergódicos não se aplicam e várias médias de séries temporais (por exemplo, )nãoconverge para nada comoT→∞. $\frac{1}{T} \sum_\tau X_\tau$$T \rightarrow \infty$
   • Para uma sequência estacionária, a média das séries temporais eventualmente convergirá na média incondicional no tempo. Mas para uma sequência não estacionária, não há meios incondicionais no tempo!

Se você tiver várias observações de duas caminhadas aleatórias independentes ao longo do tempo (por exemplo, , X $X_1$$X_2$ , etc ... e , Y 2 , ....) e calcular o coeficiente de correlação da amostra, obterá um número entre - 1 e 1 . Mas não será uma aproximação do coeficiente de correlação populacional (que não existe).$Y_1$$Y_2$$-1$$1$

Em vez (calculado utilizando as médias de séries temporais a partir de t = 1 para $\hat{\rho}_{XY}(T)$$t=1$ ) vai ser basicamente uma variável aleatória (tomando valores em [ - 1 , 1 ] ), que reflecte os dois caminhos particulares os passeios aleatórios tomados por acaso (ou seja, os caminhos definidos pelo desenho ω extraído do espaço da amostra Ω .) Falando de maneira extremamente vaga (e imprecisa):$t=T$$[-1, 1]$$\omega$$\Omega$

• Se ambos e Y t aconteceu a vaguear fora na mesma direção, você vai detectar uma relação positiva espúria.$X_t$$Y_t$
• Se e Y t afastou em direções diferentes, você vai detectar uma relação negativa espúria.$X_t$$Y_t$
• Se e Y t aconteceu a vaguear através de se suficiente, você vai detectar um próximo relacionamento zero.$X_t$$Y_t$

Você pode pesquisar mais no Google sobre isso com os termos spurious regression random walk.

Um passeio aleatório não é estacionária e tendo médias ao longo do tempo não irá convergir para o que você iria ficar tomando iid chama ω a partir de amostra de espaço Ω . Como mencionado nos comentários acima, você pode fazer as primeiras diferenças Δ x t = x t$t$$\omega$$\Omega$ e, para uma caminhada aleatória, esse processo { Δ x t } é estacionário.$\Delta x_t = x_t - x_{t-1}$$\{\Delta x_t\}$

Grande ideia:

Várias observações ao longo do tempo NÃO É o mesmo que vários sorteios de um espaço de amostra!

Lembre-se de que um processo estocástico de tempo discreto é uma função do tempo ( t ∈ N ) e de um espaço de amostra Ω .$\{ X_t \}$$t \in \mathbb{N}$$\Omega$

Para que as médias ao longo do tempo convergam para as expectativas em um espaço de amostra Ω , você precisa de estacionariedade e ergodicidade . Esse é um problema central em muitas análises de séries temporais. E uma caminhada aleatória não é um processo estacionário.$t$$\Omega$

Conexão com a resposta do WHuber:

Se você pode calcular médias em várias simulações (ou seja, tirar vários desenhos de ) em vez de ser forçado a calcular médias no tempo t , vários problemas desaparecem.$\Omega$$t$

Pode, claro, definir ρ X Y ( t ) como o coeficiente de correlação calculado amostra em X 1 ... X t$\hat{\rho}_{XY}(t)$$X_1\ldots X_t$ e e este será também um processo estocástico.$Y_1 \ldots Y_t$

Você pode definir algumas variáveis ​​aleatórias como:$Z_t$

$$Z_t = |\hat{\rho}_{XY}(t)|$$

Para dois passeios aleatórios começando em com incrementos de N ( 0 , 1 ) , é fácil encontrar E [ Z 10000 ] por simulação (ou seja, usando vários desenhos de Ω .)$0$$\mathcal{N}(0,1)$$E[Z_{10000}]$$\Omega$

Abaixo, fiz uma simulação de 10.000 cálculos de um coeficiente de correlação de Pearson de amostra. Cada vez que eu:

• Simularam dois passeios aleatórios de 10.000 comprimentos (com incrementos normalmente distribuídos, extraídos de ).$\mathcal{N}(0,1)$
• Calculou o coeficiente de correlação da amostra entre eles.

Abaixo está um histograma mostrando a distribuição empírica sobre os 10000 coeficientes de correlação calculados.

Pode observar claramente que a variável aleatória ρ X Y ( 10000 ) pode ser em todo o lugar no intervalo [ - 1 , 1 ]$\hat{\rho}_{XY}(10000)$$[-1, 1]$ . Para dois caminhos fixos de e Y , o coeficiente de correlação da amostra não converge para nada à medida que a duração da série temporal aumenta.$X$$Y$

Por outro lado, por um tempo específico (por exemplo, ), o coeficiente de correlação amostra é uma variável aleatória com uma média finito etc ... Se tomo do valor absoluto e calcular a média sobre todas as simulações, Eu calculo aproximadamente 0,42. Não sei por que você quer fazer isso ou por que isso tem algum significado ?, mas é claro que você pode.$t=10,000$

Código:

for i=1:10000 
  X = randn(10000,2); 
  Y = cumsum(X); 
  z(i) = corr(Y(:,1), Y(:,2));
end;
histogram(z,20);
mean(abs(z))

A matemática necessária para obter um resultado exato é confusa, mas podemos derivar um valor exato para o coeficiente de correlação ao quadrado esperado de forma relativamente indolor. Ele ajuda a explicar por que um valor próximo de continua a mostrar-se e por que aumentar o comprimento$1/2$ do passeio aleatório não vai mudar as coisas.$n$

Existe potencial para confusão sobre termos padrão. A correlação absoluta referida na questão, juntamente com as estatísticas que a compõem - variações e covariâncias - são fórmulas que podem ser aplicadas a qualquer par de realizações de passeios aleatórios. A questão diz respeito ao que acontece quando olhamos para muitas realizações independentes. Para isso, precisamos assumir expectativas em relação ao processo de caminhada aleatória.

---

(Editar)

Antes de prosseguir, quero compartilhar algumas informações gráficas com você. Um par de passeios aleatórios independentes é um passeio aleatório em duas dimensões. Podemos traçar o caminho que passa de cada um ( X t , Y t ) para X t + 1 , Y t + 1 . Se esse caminho tender para baixo (da esquerda para a direita, plotado nos eixos XY usuais) , para estudar o valor absoluto da correlação , vamos negar todos os valores Y. Traçar os passeios em eixos dimensionados para dar o X e$(X,Y)$$(X_t,Y_t)$$X_{t+1},Y_{t+1}$$Y$$X$$Y$ valores iguais desvios padrão e sobrepor os mínimos quadrados de para X . As inclinações dessas linhas serão os valores absolutos dos coeficientes de correlação, situando-se sempre entre 0 e 1 .$Y$$X$$0$$1$

Esta figura mostra dessas caminhadas, cada uma com comprimento 960 (com diferenças normais normais). Pequenos círculos abertos marcam seus pontos de partida. As olheiras marcam seus locais finais.$15$$960$

Essas encostas tendem a ser bem grandes. Gráficos de dispersão perfeitamente aleatórios desses muitos pontos sempre teriam inclinações muito próximas de zero. Se tivéssemos que descrever os padrões emergentes aqui, poderíamos dizer que maioria das caminhadas aleatórias 2D migra gradualmente de um local para outro. (Porém, esses não são necessariamente os locais de início e de ponto final!) Cerca de metade do tempo, então, a migração ocorre na direção diagonal - e a inclinação é alta.

O restante deste post esboça uma análise dessa situação.

---

$(X_i)$$(W_1, W_2, \ldots, W_n)$$W_i$$\sigma^2$

$x = (x_1, \ldots, x_n)$

$$\operatorname{V}(x) = \frac{1}{n}\sum (x_i-\bar x)^2.$$

Uma boa maneira de calcular esse valor é obter metade da média de todas as diferenças ao quadrado:

$$\operatorname{V}(x) = \frac{1}{n(n-1)}\sum_{j \gt i} (x_j-x_i)^2.$$

$x$$X$$n$

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} \mathbb{E}(X_j-X_i)^2.$$

As diferenças são somas de variáveis ​​iid,

$$X_j - X_i = W_{i+1} + W_{i+2} + \cdots + W_j.$$

$W_k$$W_k$$\sigma^2$

$$\mathbb{E}((W_{i+1} + W_{i+2} + \cdots + W_j^2)) = (j-i)\sigma^2.$$

Segue-se facilmente que

$$\mathbb{E}(\operatorname{V}(X)) = \frac{1}{n(n-1)}\sum_{j \gt i} (j-i)\sigma^2 = \frac{n+1}{6}\sigma^2.$$

$x$$y$

$$\mathbb{E}(\operatorname{C}(X,Y)^2) = \frac{3n^6-2n^5-3n^2+2n}{480n^2(n-1)^2}\sigma^4.$$

$X$$Y$$n$

$$\rho^2(n) = \frac{\mathbb{E}(\operatorname{C}(X,Y)^2)}{\mathbb{E}(\operatorname{V}(X))^2} = \frac{3}{40}\frac{3n^3-2n^2+3n-2}{n^3-n}.$$

Although this is not constant, it rapidly approaches a limiting value of $9/40$. Its square root, approximately $0.47$, therefore approximates the expected absolute value of $\rho(n)$ (and underestimates it).

---

I am sure I have made computational errors, but simulations bear out the asymptotic accuracy. In the following results showing the histograms of $\rho^2(n)$ for $1000$ simulations each, the vertical red lines show the means while the dashed blue lines show the formula's value. Clearly it's incorrect, but asymptotically it is right. Evidently the entire distribution of $\rho^2(n)$ is approaching a limit as $n$ increases. Similarly, the distribution of $|\rho(n)|$ (which is the quantity of interest) will approach a limit.

This is the R code to produce the figure.

f <- function(n){
  m <- (2 - 3* n + 2* n^2 -3 * n^3)/(n - n^3) * 3/40 
}
n.sim <- 1e4
par(mfrow=c(1,4))
for (n in c(3, 10, 30, 100)) {
  u <- matrix(rnorm(n*n.sim), nrow=n)
  v <- matrix(rnorm(n*n.sim), nrow=n)
  x <- apply(u, 2, cumsum)
  y <- apply(v, 2, cumsum)
  sim <- rep(NA_real_, n.sim)
  for (i in 1:n.sim)
    sim[i] <- cor(x[,i], y[,i])^2
  z <- signif(sqrt(n.sim)*(mean(sim) - f(n)) / sd(sim), 3)
  hist(sim,xlab="rho(n)^2", main=paste("n =", n), sub=paste("Z =", z))
  abline(v=mean(sim), lwd=2, col="Red")
  abline(v=f(n), col="Blue", lwd=2, lty=3)
}