Composição de Cholesky versus eigend para extrair amostras de uma distribuição normal multivariada

Gostaria de desenhar uma amostra . A Wikipedia sugere usar uma composição de Cholesky ou Eigend , por exemplo , ou $\mathbf{x} \sim N\left(\mathbf{0}, \mathbf{\Sigma} \right)$$\mathbf{\Sigma} = \mathbf{D}_1\mathbf{D}_1^T$$\mathbf{\Sigma} = \mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^T$

E, portanto, o exemplo pode ser obtido via: ou onde $\mathbf{x} = \mathbf{D}_1 \mathbf{v}$$\mathbf{x} = \mathbf{Q}\sqrt{\mathbf{\Lambda}} \mathbf{v}$$\mathbf{v} \sim N\left(\mathbf{0}, \mathbf{I} \right)$

A Wikipedia sugere que ambos são igualmente bons para gerar amostras, mas o método de Cholesky tem o tempo de computação mais rápido. Isso é verdade? Especialmente numericamente ao usar o método de Monte Carlo, onde as variações ao longo das diagonais podem diferir em várias ordens de magnitude? Existe alguma análise formal sobre esse problema?

O problema foi estudado por Straka et.al para o Filtro Kalman Unscented, que extrai amostras (determinísticas) de uma distribuição Normal multivariada como parte do algoritmo. Com alguma sorte, os resultados podem ser aplicáveis ​​ao problema de monte-carlo.

A decomposição de Cholesky (CD) e a decomposição de Eigen (ED) - e, nesse caso, a raiz quadrada de matriz (MSR) real são todas as maneiras pelas quais uma matriz semi-definida positiva (PSD) pode ser decomposta.

Considere o SVD de uma matriz de PSD, . Uma vez que P é PSD, isto é, na verdade, o mesmo que o ED com P = L S L T . Além disso, podemos dividir a matriz diagonal por sua raiz quadrada: P = U $P = USV^T$$P = USU^T$, observando que$P = U\sqrt{S}\sqrt{S}^TU^T$.$\sqrt{S} = \sqrt{S}^T$

Agora podemos introduzir uma matriz ortogonal arbitrária :$O$

.$P = U\sqrt{S}OO^T\sqrt{S}^TU^T = (U\sqrt{S}O)(U\sqrt{S}O)^T$

A escolha de realmente afeta o desempenho da estimativa, especialmente quando há fortes elementos fora da diagonal da matriz de covariância.$O$

O artigo estudou três opções de :$O$

• , que corresponde ao DE;$O = I$
• dadecomposição QRde U $O = Q$, o qual corresponde ao CD; e$U\sqrt{S} = QR$
• que leva a uma matriz simétrica (isto é, MSR)$O = U^T$

Das quais foram tiradas as seguintes conclusões no trabalho após muita análise (citação):

• Para uma variável aleatória a ser transformada com elementos não correlacionados, todos os três MDs considerados fornecem pontos sigma idênticos e, portanto, eles quase não fazem diferença na qualidade da aproximação [Transformação sem cheiro]. Nesse caso, o CD pode ser preferido por seus baixos custos.

• Se a variável aleatória contiver elementos correlacionados, o uso de diferentes [decomposições] poderá afetar significativamente a qualidade da aproximação [Transformada Não Centrada] da matriz de média ou covariância da variável aleatória transformada. Os dois casos acima mostraram que o [DE] deve ser preferido.

• Se os elementos da variável a ser transformada exibem forte correlação para que a matriz de covariância correspondente seja quase singular, outra questão deve ser levada em consideração, que é a estabilidade numérica do algoritmo que calcula o MD. O SVD é muito mais numericamente estável para matrizes de covariância quase singulares que o ChD.

Referência:

• Straka, O .; Dunik, J .; Simandl, M. & Havlik, J. "Aspectos e comparação de decomposições matriciais em filtro de Kalman sem cheiro", American Control Conference (ACC), 2013, 2013, 3075-3080.

Aqui está uma ilustração simples usando R para comparar o tempo de computação dos dois métodos.

library(mvtnorm)
library(clusterGeneration)
set.seed(1234)
mean <- rnorm(1000, 0, 1)
sigma <- genPositiveDefMat(1000)
sigma <- sigma$Sigma

eigen.time <- system.time(
  rmvnorm(n=1000, mean=mean, sigma = sigma, method = "eigen")
  )

chol.time <- system.time(
  rmvnorm(n=1000, mean=mean, sigma = sigma, method = "chol")
  )

Os tempos de execução são

> eigen.time
   user  system elapsed 
   5.16    0.06    5.33 
> chol.time
   user  system elapsed 
   1.74    0.15    1.90

Ao aumentar o tamanho da amostra para 10000, os tempos de execução são

> eigen.time <- system.time(
+   rmvnorm(n=10000, mean=mean, sigma = sigma, method = "eigen")
+   )
> 
> chol.time <- system.time(
+   rmvnorm(n=10000, mean=mean, sigma = sigma, method = "chol")
+   )
> eigen.time
   user  system elapsed 
   15.74    0.28   16.19 
> chol.time
   user  system elapsed 
   11.61    0.19   11.89 

Espero que isto ajude.

Aqui está a demonstração do manual, ou pobre homem, prove-me-yourself:

> set.seed(0)
> # The correlation matrix
> corr_matrix = matrix(cbind(1, .80, .2, .80, 1, .7, .2, .7, 1), nrow=3)
> nvar = 3 # Three columns of correlated data points
> nobs = 1e6 # One million observations for each column
> std_norm = matrix(rnorm(nvar * nobs),nrow=nobs, ncol=nvar) # N(0,1)   

$$\text{Corr}=\small \begin{bmatrix} 1 & .8 & .2\\ .8& 1 & .7 \\ .2&.7&1 \end{bmatrix}$$

$$\text{N}=\tiny \begin{bmatrix} & [,1] & [,2] & [,3] \\ [1,] & -1.0806338 & 0.6563913 & 0.8400443 \\ [2,] & -1.1434241 & -0.1729738 & -0.9884772 \\ \vdots & \vdots & \vdots & \vdots \\ \vdots & \vdots & \vdots & \vdots \\ [999999,] & 0.4861827 & 0.03563006 & -2.1176976 \\ [1000000,] & -0.4394551 & 1.69265517 & -1.9534729\\ \end{bmatrix}$$

1. MÉTODO SVD:

$$\left[ \bf \underset{[3 \times 3]}{\color{blue}{\Large\,U}}\,\,\,\,\,\underset{\tiny \begin{bmatrix}\sqrt{d_1}&0&0\\0&\sqrt{d_2}&0\\0&0&\sqrt{d_3}\end{bmatrix}}{\Large\color{blue}{\Sigma^{0.5}}} \, \underset{[3\times 10^6]}{\Large\color{blue}{N^T}} \right]^T$$

> ptm <- proc.time()
> # Singular Value Decomposition method:
> svd = svd(corr_matrix)   
> rand_data_svd = t(svd$u %*% (diag(3) * sqrt(svd$d)) %*% t(std_norm))
> proc.time() - ptm
   user  system elapsed 
   0.29    0.05    0.34 
> 
> ptm <- proc.time()

2. CHOLESKY METHOD:

$$\bf \left[ \underset{\begin{bmatrix}c_{11}&0&0\\c_{21}&c_{22}&0\\c_{31}&c_{32}&c_{33}\end{bmatrix}}{\Large\color{blue}{\text{Ch}}}\,\,\underset{[3\times 10^6]}{\Large\color{blue}{N^T}} \right]^T$$

> # Cholesky method:
> chole = t(chol(corr_matrix))
> rand_data_chole = t(chole %*% t(std_norm))
> proc.time() - ptm
   user  system elapsed 
   0.25    0.03    0.31 

---

Thank you to @userr11852 for pointing out to me that there is a better way to calculate the difference in performance between SVD and Cholesky, in favor of the latter, using the function microbenchmark. At his suggestion, here is the result:

microbenchmark(chol(corr_matrix), svd(corr_matrix))
Unit: microseconds
              expr     min     lq      mean  median      uq     max neval cld
 chol(corr_matrix)  24.104  25.05  28.74036  25.995  26.467  95.469   100  a 
  svd(corr_matrix) 108.701 110.12 116.27794 111.065 112.719 223.074   100   b