Como gerar números aleatórios correlacionados (médias, variações e grau de correlação)?

53

Sinto muito se isso parece um pouco básico, mas acho que estou apenas tentando confirmar o entendimento aqui. Tenho a sensação de que eu teria que fazer isso em duas etapas e comecei a tentar criar matrizes de correlação, mas isso está começando a parecer realmente envolvido. Estou procurando uma explicação concisa (idealmente com dicas para uma solução de pseudocódigo) de uma maneira boa e idealmente rápida de gerar números aleatórios correlacionados.

Dadas duas variáveis pseudo-aleatórias, altura e peso, com médias e variações conhecidas e uma determinada correlação, acho que estou basicamente tentando entender como deve ser a segunda etapa:

   height = gaussianPdf(height.mean, height.variance)
   weight = gaussianPdf(correlated_mean(height.mean, correlation_coefficient), 
                        correlated_variance(height.variance, 
                        correlation_coefficient))

Como calculo a média e variância correlacionadas? Mas quero confirmar que esse é realmente o problema relevante aqui.
Preciso recorrer à manipulação de matrizes? Ou tenho outra coisa muito errada na minha abordagem básica para esse problema?

— Joseph Weissman
fonte

11

Não sei se o entendi corretamente, mas você não precisa calcular "média e variância correlacionadas". Se você está assumindo que as variáveis são bivariadas normais, deve ser suficiente especificar as médias e variações individuais e a correlação. Existe algum software específico que você deseja usar para isso?

— mark999

3

Os seguintes Qs estão fortemente relacionados e serão de interesse: Como definir uma distribuição que se baseia nela se correlaciona com um empate de outra distribuição pré-especificada? & Gere uma variável aleatória com uma correlação definida para uma variável existente .

— gung - Restabelece Monica

11

Além disso: como posso gerar dados com uma matriz de correlação pré-especificada?

— gung - Restabelece Monica

44

Para responder à sua pergunta sobre "uma maneira boa e idealmente rápida de gerar números aleatórios correlacionados": Dada a matriz variância-covariância desejada que é definida por definição positiva positiva, a decomposição de Cholesky é: = ; sendo a matriz triangular inferior. $C$ $C$ $LL^T$ $L$

Se você agora usar essa matriz para projetar um vetor variável aleatório não correlacionado , a projeção resultante será a das variáveis aleatórias correlacionadas. $L$ $X$ $Y = LX$

Você pode encontrar uma explicação concisa sobre por que isso acontece aqui .

— usεr11852 diz Reinstate Monic
fonte

Obrigado! Isso foi extremamente útil. Eu acho que pelo menos tenho uma noção melhor do que eu preciso olhar a seguir.

— Joseph Weissman

7

Esse método se aplica apenas a distribuições gaussianas (conforme especificado na pergunta) ou pode ser usado para gerar variáveis correlatas que seguem outras distribuições? Caso contrário, você conhece um método que poderia ser usado nesse caso?

— user000001

11

@ Michael: Sim. Dito isto, dado que

é uma matriz de covariância válida, a decomposição de Cholesky é o caminho mais rápido. Você também pode obter a matriz

raiz quadrada (simétrica) de

usando SVD (então

, em que

de

), mas isso seria mais caro também.

C

$C$

X

$X$

C

$C$

C = X X = X X^{T}

$C = XX = XX^T$

X = U S^{0.5} V^{T}

$X = U S^{0.5} V^T$

C = U S V^{T}

$C = USV^T$

— usεr11852 diz Reinstate Monic

11

@ Michael: Claro. Sua covariância será (aproximadamente) a mesma, não os números em si.

— usεr11852 diz Reinstate Monic 03/04

11

@ Sid: Qualquer distribuição contínua não suportada em toda a linha real falhará imediatamente. Por exemplo, se usarmos um

uniforme

não podemos garantir que os "números correlatos" estarão em

; da mesma forma para um Poisson, acabaremos com números não discretos. Além disso, qualquer distribuição em que a soma das distribuições ainda não seja a mesma (por exemplo, somar distribuição

não resulta em distribuições

) também falhará. Em todos os casos mencionados, os números produzidos serão correlacionados de acordo com a

U [0, 1]

$U[0,1]$

[0, 1]

$[0,1]$

t

$t$

t

$t$

C

$C$ mas eles não corresponderão à distribuição que começamos.

— usεr11852 diz Reinstate Monic

36

+1 a @ user11852 e @ jem77bfp, são boas respostas. Deixe-me abordar isso de uma perspectiva diferente, não porque eu acho que é necessariamente melhor na prática , mas porque eu acho que é instrutivo. Aqui estão alguns fatos relevantes que já sabemos:

é a inclinação da reta de regressão quando e sãopadronizados, isto é, , $r$ $X$ $Y$ $\mathcal N(0,1)$
é a proporção da variação em atribuível à variação em , $r^2$ $Y$ $X$

(também, das regras para variações ):
a variação de uma variável aleatória multiplicada por uma constante é a constante ao quadrado vezes a variação original:
$Var [a X] = a^{2} Var [X]$ $\text{Var}[aX]=a^2\text{Var}[X]$
as variações adicionam , ou seja, a variação da soma de duas variáveis aleatórias (supondo que sejam independentes) é a soma das duas variações:
$Var [X + ε] = Var [X] + Var [ε]$ $\text{Var}[X+\varepsilon]=\text{Var}[X]+\text{Var}[\varepsilon]$

$r$ $\rho$ $X$ $\mathcal N(0,1)$ $a$ $v_e$ $Y \sim\mathcal N(0,a^2+v_e)$ . (Observe que deve ser para que isso funcione e que, além disso, .) Assim, você começa com o que deseja; esse é o seu coeficiente, . Então você descobre a variação de erro que precisará, é . (Se o seu software exigir que você use o desvio padrão, pegue a raiz quadrada desse valor.) Finalmente, para cada variável pseudo-aleatória, , que você gerou, gere uma variável pseudo-aleatória, $a^2+v_e=1$ $|a|$ $\le 1$ $a=r$ $r$ $a$ $1-r^2$ $x_i$ $e_i$ , com a variação de erro apropriada , e calcule a variável pseudo-aleatória correlacionada, , multiplicando e adicionando. $v_e$ $y_i$

Se você quiser fazer isso no R, o seguinte código pode funcionar para você:

correlatedValue = function(x, r){
  r2 = r**2
  ve = 1-r2
  SD = sqrt(ve)
  e  = rnorm(length(x), mean=0, sd=SD)
  y  = r*x + e
  return(y)
}

set.seed(5)
x = rnorm(10000)
y = correlatedValue(x=x, r=.5)

cor(x,y)
[1] 0.4945964

$0$

Novamente, isso, em sua forma mais simples, permite gerar apenas um par de variáveis correlacionadas (isso pode ser ampliado, mas fica muito rápido) e certamente não é a maneira mais conveniente de realizar o trabalho. Em R, você desejaria usar ? Mvrnorm no pacote MASS , tanto porque é mais fácil quanto porque você pode gerar muitas variáveis com uma matriz de correlação populacional. No entanto, acho que vale a pena ter percorrido esse processo para ver como alguns princípios básicos funcionam de maneira simples.

— - Reinstate Monica
fonte

Essa abordagem essencialmente regressiva é particularmente agradável, permitindo gerar um Y aleatório correlacionado com qualquer número de "preditores" X existentes . Estou certo em tal entendimento?

— ttnphns

Depende exatamente de qual padrão de correlação entre as variáveis que você deseja, @ttnphns. Você pode iterar isso um após o outro, mas seria tedioso. Para criar muitas variáveis correlacionadas com um determinado padrão, é melhor usar a decomposição de Cholesky.

— gung - Restabelece Monica

você sabe como usar Cholesky para gerar um Y correlacionado (aproximadamente, como no seu método) de acordo com um vetor de correlações com vários Xs existentes (não simulados)?

— ttnphns

@ttnphns, você deseja gerar um único Y com uma determinada correlação populacional com um conjunto de Xs, não um conjunto de variáveis p com todas as correlações populacionais pré-especificadas? Uma maneira simples seria escrever uma equação de regressão para gerar um único Y-hat a partir dos seus Xs e, em seguida, use o método acima para gerar Y como um correlato do seu Y-hat. Você pode fazer uma nova pergunta, se quiser.

— gung - Restabelece Monica

11

Isso é o que eu quis dizer no meu comentário inicial: esse método seria uma extensão direta do que você fala na sua resposta: essencialmente um método regressivo (Hat).

— ttnphns

16

Em geral, isso não é uma coisa simples de se fazer, mas acredito que existem pacotes para geração de variáveis normais multivariadas (pelo menos em R, veja mvrnormno MASSpacote), onde você apenas insere uma matriz de covariância e um vetor médio.

$(X_1,X_2)$ $F(x_1,x_2)$ $F$ $x_2$

F_{X_{1}} (x_{1}) = \int_{- \infty}^{\infty} F (x_{1}, x_{2}) d x_{2} .

$F_{X_1}(x_1)= \int_{-\infty}^{\infty} F(x_1,x_2)dx_2.$

F_{X_{1}}^{- 1}

$F^{-1}_{X_1}$

F_{X_{1}}

$F_{X_1}$

ξ_{1}

$\xi_1$

[0, 1]

$[0,1]$

{\hat{x}}_{1} = F_{X_{1}}^{- 1} (ξ)

$\hat{x}_1=F^{-1}_{X_1}(\xi)$

$F(x_1,x_2)$ $x_1=\hat{x}_1$

F (x_{2} | X_{1} = {\hat{x}}_{1}) = \frac{F ({\hat{x}}_{1}, x_{2})}{f_{X_{1}} ({\hat{x}}_{1})},

$F(x_2 | X_1=\hat{x}_1)= \frac{F(\hat{x}_1,x_2)}{f_{X_1}(\hat{x}_1)},$

f_{X_{1}}

$f_{X_1}$

X_{1}

$X_1$

F_{X_{1}}^{'} (x_{1}) = f_{X_{1}} (x_{1})

$F'_{X_1}(x_1)=f_{X_1}(x_1)$

$\xi_2$ $[0,1]$ $\xi_1$ $F(x_2 | X_1=\hat{x}_1)$ $\hat{x}_2=(F(x_2 | X_1=\hat{x}_1))^{-1}(\xi)$ $\hat x_2$ $F(\hat x_2 | X_1=\hat{x}_1) = \xi$

Se você não entender o significado de conectar uma variável uniforme a uma função de distribuição de probabilidade inversa, tente fazer um esboço do caso univariado e lembre-se de qual é a interpretação geométrica da função inversa.

— jem77bfp
fonte

Idéia inteligente! Tem apelo intuitivo simples. Mas sim parece caro computacionalmente.

— MichaelChirico 28/09

(+1) ponto muito bom. Seria melhor no começo dizer

f_{X, Y} (x, y) = f_{X} (x) \cdot f_{Y | X} (y)

$f_{X,Y}(x,y)=f_X(x)\cdot f_{Y|X}(y)$

1

Se você estiver pronto para desistir da eficiência, poderá usar um alogoritmo descartável. Sua vantagem é que ela permite qualquer tipo de distribuição (não apenas gaussiana).

$\{x_i\}_{i=1}^N$ $\{y_i\}_{i=1}^N$ $C$

$c_{old}=corr(\{x_i\},\{y_i\})$

$n_1$ $n_2: 1 \leq n_{1,2} \leq N$

$x_{n_1}$ $x_{n_2}$

$c_{new}=corr( \{x_i\},\{y_i\})$

$|C-c_{new}| < |C-c_{old}|$

$|C-c| < \epsilon$

${x_i}$

Boa sorte!

— F. Jatpil
fonte

x_{i}

$x_i$

c o r r (x_{i}, y_{i})

$corr(x_i, y_i)$

x_{i}

$x_i$

{x_{i}}

$\{x_i\}$

y

$y$

c o r r (x_{i}, y_{i})

$corr(x_i,y_i)$

c o r r ({x_{i}}, {y_{i}}) = (1 / N) Σ_{i = 1}^{N} (x_{i} - \bar{x}) (y_{y} - \bar{y})

$corr(\{x_i\},\{y_i\}) = (1/N) \Sigma_{i=1}^{N}(x_i- \bar x)(y_y - \bar y)$

Entendo, faz todo sentido. Ignorei o "

" em

{}

$\{ \}$

c o r r ({x_{i}}, {y_{i}})

$corr(\{x_i\}, \{y_i\})$