Autocorrelação alta ao tomar a L-ésima ordem de diferença de uma sequência de números aleatórios independentes

Para explicar essa pergunta com mais detalhes, primeiro elaborarei minha abordagem:

1. Simulei uma sequência de números aleatórios independentes .$X = \{x_1,...,x_N\}$

2. Tomo então vezes a diferença; ou seja, eu crio as variáveis:$L$

   $dX_{1} = \{X(2)-X(1),...,X(N)-X(N-1)\}$

   $dX_{2} = \{dX_{1}(2)-dX_{1}(1),...,dX_{1}(N-1)-dX_{1}(N-1-1)\}$

   $...$

   $dX_{L} = \{dX_{L-1}(2)-dX_{L-1}(1),...,dX_{L-1}(N-L)-dX_{L-1}(N-L-1)\}$

Observo que a autocorrelação (absoluta) de aumenta à medida que se torna maior; o ac se aproxima de 0,99 para . Ou seja, ao tomar a L-ésima ordem da diferença, criamos uma série de números altamente dependentes (sequência) a partir de uma sequência inicialmente independente.$dX_{L}$$L$$L >100$

Aqui estão alguns gráficos para ilustrar minhas observações:

Minhas perguntas:

• Existe alguma teoria por trás dessa abordagem e suas implicações ou aplicações?

• Isso indica que essa abordagem explora os pontos fracos de um gerador pseudo-aleatório (do computador). Ou seja, a sequência "aleatória" gerada não é verdadeiramente aleatória, e isso é ilustrado / comprovado pela minha abordagem?

• Podemos explorar a alta autocorrelação da L-ésima ordem das diferenças, a fim de prever o próximo número na sequência (isto é, ). seja, se pudermos prever o próximo número de (por exemplo, por regressão linear), podemos deduzir de volta a sequência estimada tomando vezes a soma cumulativa. Essa é uma abordagem viável?$X(N+1)$$dX_{L}$$X(i)$$L$

Objetivo Observe que estou tentando prever , mas como os números são gerados de forma independente e aleatória, isso é muito difícil (baixa CA de ).$X(N+1)$$N$

Teoria

Se a autocorrelação tiver algum significado, devemos supor que as variáveis ​​aleatórias originais tenham a mesma variação, que - por uma escolha adequada de unidades de medida - podemos definir como unidade. A partir da fórmula para a diferença finita$X_0, X_1, \ldots, X_N$$L^\text{th}$

$$X^{(L)}_i=(\Delta^L(X))_i = \sum_{k=0}^L (-1)^{L-k}\binom{L}{k} X_{i+k}$$

para e a independência do , calculamos prontamente$0 \le i \le N-L$$X_i$

$$\operatorname{Var}(X^{(L)}_i) = \sum_{k=0}^L \binom{L}{k}^2 = \binom{2L}{L}\tag{1}$$

e para e ,$0 \lt j \lt L$$i \le N-L-j$

$$\operatorname{Cov}(X^{(L)}_i, X^{(L)}_{i+j}) = (-1)^{j}\sum_{k=0}^{L-j} \binom{L}{k}\binom{L}{k+j} = (-1)^{j}\frac{4^L \binom{L}{j} j!\Gamma(L+1/2)}{\sqrt{\pi}(L+j)!}.\tag{2}$$

Dividindo por dá o lag- de série correlação . É negativo para impar e positivo para par .$(2)$$(1)$$j$$\rho_j$$j$$j$

A fórmula de Stirling fornece uma aproximação facilmente interpretável

$$\log(|\rho_j|) \approx -\left(\frac{j^2}{L} - \frac{j^2}{2 L^2} + \frac{j^2 \left(j^2+1\right)}{6L^3}-\frac{j^4}{4 L^4} + O(L^{-5})O(j^6)\right)$$

Em função de sua magnitude é aproximadamente uma curva gaussiana (em forma de sino), como seria de esperar de qualquer procedimento baseado em difusão, como diferenças sucessivas. Aqui está um gráfico deatravés deem função de , mostrando a rapidez com que a correlação serial se aproxima . Em ordem de cima para baixo, os pontos representamatravés de.$j$$|\rho_1|$$|\rho_5|$$L$$1$$|\rho_1|$$|\rho_5|$

Conclusões

Por serem relações puramente matemáticas, elas revelam pouco sobre o . Em particular, porque todas as diferenças finitas são combinações lineares das variáveis ​​originais, elas não fornecem informações adicionais que possam ser usadas para prever de .$X_i$$X_{N+1}$$X_0, X_1, \ldots, X_N$

Observações práticas

À medida que cresce, os coeficientes nas combinações lineares crescem exponencialmente. Observe que cada é uma soma alternada: especificamente, no meio dessa soma, aparecem coeficientes relativamente grandes próximos a . Considere os dados reais sujeitos a um pouco de ruído aleatório. Esse ruído é multiplicado por esses grandes coeficientes binomiais e, em seguida, esses grandes resultados são quase cancelados pela adição e subtração alternadas. Como resultado, computando essas diferenças finitas para grandes$L$$X^{(L)}_i$$\binom{L}{L/2}$$L$tende a apagar todas as informações dos dados e reflete apenas pequenas quantidades de ruído, incluindo erro de medição e erro de arredondamento de ponto flutuante. Os padrões aparentes nas diferenças mostradas na pergunta para e quase certamente não fornecem informações significativas. (Os coeficientes binomiais para são tão grandes quanto e tão pequenos quanto , implicando um erro de ponto flutuante de precisão dupla dominando o cálculo.)$L=100$$L=168$$L=100$$10^{29}$$1$

Isso é mais um comentário ou, na melhor das hipóteses, talvez mais uma pista para resolver sua pergunta, mas minha reputação não me permite postar comentários.

Eu repliquei sua experiência no Stata usando desenhos de um Normal padrão com o seguinte código:

clear all
set obs 100000

gen t = _n
tsset t

drawnorm x, n(100000)

forvalues i = 1(1)100 {
generate D`i' = D`i'.x
}

Olhando para os correlogramas das variáveis ​​diferenciadas, fiquei pensando por que as faixas de confiança são tão pequenas. Eu nunca vi faixas tão pequenas de confiança em um correlograma Stata. Alguma ideia?

Eu estava pensando que isso poderia ser uma pista, porque, com faixas de confiança tão pequenas, até as pequenas autocorrelações dos mais atrasados ​​estão sendo contadas na sua autocorrelação absoluta, se estou interpretando "absoluto" corretamente.

Aqui está o correlograma para o meu dX_10 ...

... e aqui está novamente, ampliado nos 10 primeiros atrasos ...

Isso é esperado porque as diferenças não são independentes uma da outra. Por exemplo, é diretamente proporcional a enquanto é inversamente proporcional aComo as definições de elementos consecutivos de compartilham elementos de dessa maneira inversa, esperamos que eles sejam inversamente correlacionados. De fato, à medida que avançamos para diferenças de ordem superior , valores consecutivos compartilham uma fração cada vez mais alta dos elementos de que entram em sua definição e sua anticorrelação aumenta. No entanto, se não soubéssemos o elemento compartilhado ($dX_1(1) \equiv X(2) - X(1)$$X(2)$$dX_1(2) \equiv X(3) - X(2)$$X(2).$$dX_1$$X$$dX_i$$X$$X(2)$no meu exemplo) não poderíamos calcular nenhuma diferença que inclua esse elemento. Portanto, não podemos usar as anticorrelações nas diferenças para prever elementos desconhecidos de se eles forem gerados independentemente dos elementos conhecidos.$X$