Analogia da correlação de Pearson para 3 variáveis

17

Estou interessado em saber se uma "correlação" de três variáveis é alguma coisa e, se for o que, isso seria?

Coeficiente de correlação do momento do produto Pearson

\frac{E {(X - μ_{X}) (Y - μ_{Y})}}{\sqrt{V uma r (X) V uma r (Y)}}

$\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)\}}{\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}}$

Agora a pergunta para 3 variáveis: É

\frac{E {(X - μ_{X}) (Y - μ_{Y}) (Z - μ_{Z})}}{\sqrt{V uma r (X) V uma r (Y) V uma r (Z)}}

$\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)(Z-\mu_Z)\}} {\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)\mathrm{Var}(Z)}}$

qualquer coisa?

Em R parece algo interpretável:

> a <- rnorm(100); b <- rnorm(100); c <- rnorm(100)
> mean((a-mean(a)) * (b-mean(b)) * (c-mean(c))) / (sd(a) * sd(b) * sd(c))
[1] -0.3476942

Normalmente, observamos a correlação entre duas variáveis, dado o valor fixo de uma terceira variável. Alguém poderia esclarecer?

correlation pearson-r

— PascalVKooten
fonte

2

1) Na sua fórmula bivariada de Pearson, se "E" (médio no seu código) implica divisão por n então st. desvios também devem ser baseados em n (não n-1). 2) Deixe todas as três variáveis serem a mesma variável. Neste caso, esperamos correlação a ser 1 (como no caso bivariado), mas infelizmente ...

— ttnphns

Para uma distribuição normal trivariada, é zero, independentemente de quais sejam as correlações.

— precisa

1

Eu realmente acho que o título iria beneficiar de ser alterado para "Analogia de correlação de Pearson para 3 variáveis" ou similar - que faria links em vez mais informativo

— Silverfish

1

@Silverfish Concordo! Eu atualizei o título, obrigado.

— PascalVKooten

11

Ele é realmente algo. Para descobrir, precisamos examinar o que sabemos sobre a própria correlação.

A matriz de correlação de uma variável aleatória vector é a variância-covariância matriz, ou simplesmente "variância," da versão padronizada de . Ou seja, cada é substituído por sua versão recente e redimensionada. $\mathbf{X}=(X_1,X_2,\ldots,X_p)$ $\mathbf{X}$ $X_i$
A covariância de e é a expectativa do produto de suas versões centralizadas. Ou seja, escrevendo e , temos $X_i$ $X_j$ $X^\prime_i = X_i - E[X_i]$ $X^\prime_j = X_j - E[X_j]$

$Cov (X_{Eu}, X_{j}) = E [X_{Eu}^{'} X_{j}^{'}] .$ $\operatorname{Cov}(X_i,X_j) = E[X^\prime_i X^\prime_j].$
A variação de , que escreverei , não é um número único. É a matriz de valores $\mathbf{X}$ $\operatorname{Var}(\mathbf{X})$
$Var (X)_{Eu j} = Cov (X_{Eu}, X_{j}) .$ $\operatorname{Var}(\mathbf{X})_{ij}=\operatorname{Cov}(X_i,X_j).$
A maneira de pensar na covariância para a generalização pretendida é considerá-la um tensor . Isso significa que é uma colecção completa de quantidades , indexado por e vão desde através de , cujos valores de mudar de uma forma previsível particularmente simples quando sofre uma transformação linear. Especificamente, seja outra variável aleatória com valor vetorial definida por $v_{ij}$ $i$ $j$ $1$ $p$ $\mathbf{X}$ $\mathbf{Y}=(Y_1,Y_2,\ldots,Y_q)$

$Y_{Eu} = \sum_{j = 1}^{p} {uma}_{Eu}^{j} X_{j} .$ $Y_i = \sum_{j=1}^p a_i^{\,j}X_j.$
As constantes (esãoíndices-não é uma potência) formam umamatriz $a_i^{\,j}$ $i$ $j$ $j$ $q\times p$ ,e. A linearidade da expectativa implica $\mathbb{A} = (a_i^{\,j})$ $j=1,\ldots, p$ $i=1,\ldots, q$

$Var (Y)_{Eu j} = \sum {uma}_{Eu}^{k} {uma}_{j}^{eu} Var (X)_{k eu} .$ $\operatorname{Var}(\mathbf Y)_{ij} = \sum a_i^{\,k}a_j^{\,l}\operatorname{Var}(\mathbf X)_{kl} .$
Na notação matricial,

$Var (Y) = UMA Var (X) {UMA}^{'} .$ $\operatorname{Var}(\mathbf Y) = \mathbb{A}\operatorname{Var}(\mathbf X) \mathbb{A}^\prime .$
Todos os componentes de são na verdade variações univariadas, devido à identidade de polarização $\operatorname{Var}(\mathbf{X})$

$4 Cov (X_{i}, X_{j}) = Var (X_{i} + X_{j}) - Var (X_{i} - X_{j}) .$ $4\operatorname{Cov}(X_i,X_j) = \operatorname{Var}(X_i+X_j) - \operatorname{Var}(X_i-X_j).$
Isso nos diz que, se você entende as variações de variáveis aleatórias univariadas, já entende as covariâncias das variáveis bivariadas: elas são "apenas" combinações lineares de variações.

A expressão em questão é perfeitamente análogo: as variáveis foram padronizadas como em . Podemos entender o que ele representa considerando o que significa para qualquer variável, padronizada ou não. Substituiríamos cada por sua versão centralizada, como em , e formaríamos quantidades com três índices, $X_i$ $(1)$ $X_i$ $(2)$

μ_{3} (X)_{i j k} = E [X_{i}^{'} X_{j}^{'} X_{k}^{'}] .

$\mu_3(\mathbf{X})_{ijk} = E[X_i^\prime X_j^\prime X_k^\prime].$

Estes são os momentos centrais (multivariados) do grau $3$ . Como em , eles formam um tensor: quando , então $(4)$ $\mathbf{Y} = \mathbb{A}\mathbf{X}$

μ_{3} (Y)_{i j k} = \sum_{l, m, n} a_{i}^{l} a_{j}^{m} a_{k}^{n} μ_{3} (X)_{l m n} .

$\mu_3(\mathbf{Y})_{ijk} = \sum_{l,m,n} a_i^{\,l}a_j^{\,m}a_k^{\,n} \mu_3(\mathbf{X})_{lmn}.$

Os índices nessa soma tripla variam em todas as combinações de números inteiros de a . $1$ $p$

O análogo da identidade de polarização é

\begin{aligned} 24 μ_{3} (X)_{i j k} = \\ μ_{3} (X_{i} + X_{j} + X_{k}) - μ_{3} (X_{i} - X_{j} + X_{k}) - μ_{3} (X_{i} + X_{j} - X_{k}) + μ_{3} (X_{i} - X_{j} - X_{k}) . \end{aligned}

$\eqalign{&24\mu_3(\mathbf{X})_{ijk} = \\ &\mu_3(X_i+X_j+X_k) - \mu_3(X_i-X_j+X_k) - \mu_3(X_i+X_j-X_k) + \mu_3(X_i-X_j-X_k).}$

No lado direito, refere-se ao terceiro momento central (univariado): o valor esperado do cubo da variável centralizada. Quando as variáveis são padronizadas, esse momento é geralmente chamado de assimetria . Consequentemente, podemos pensar em como sendo a assimetria multivariada de . É um tensor da classificação três (ou seja, com três índices) cujos valores são combinações lineares das assimetrias de várias somas e diferenças do . Se procurássemos interpretações, pensaríamos nesses componentes como medindo em $\mu_3$ $\mu_3(\mathbf{X})$ $\mathbf{X}$ $X_i$ $p$ dimensões, independentemente da inclinação que esteja medindo em uma dimensão. Em muitos casos,

Os primeiros momentos medem a localização de uma distribuição;
Os segundos momentos (a matriz variância-covariância) medem sua propagação ;
Os segundos momentos padronizados (as correlações) indicam como a propagação varia no espaço dimensional; e $p$
Os terceiro e quarto momentos padronizados são usados para medir a forma de uma distribuição em relação à sua propagação.

Para elaborar o significado de uma "forma" multidimensional, observamos que podemos entender o PCA como um mecanismo para reduzir qualquer distribuição multivariada a uma versão padrão localizada na origem e spreads iguais em todas as direções. Depois de APC é realizada, em seguida, proporcionaria os indicadores mais simples da forma multidimensional da distribuição. Essas idéias se aplicam igualmente aos dados e às variáveis aleatórias, porque os dados sempre podem ser analisados em termos de sua distribuição empírica. $\mu_3$

Referência

Alan Stuart & J. Keith Ord, Teoria Avançada de Estatística de Kendall Quinta Edição, Volume 1: Teoria da Distribuição ; Capítulo 3, Momentos e Cumulantes . Oxford University Press (1987).

Apêndice: Prova da identidade de polarização

Seja sejam variáveis algébricas. Existem maneiras de somar e subtrair todos deles. Quando levantar cada uma dessas somas-e-diferenças para o poder, pegar um sinal adequado para cada um desses resultados, e adicioná-los para cima, vamos obter um múltiplo de . $x_1,\ldots, x_n$ $2^n$ $n$ $n^\text{th}$ $x_1x_2\cdots x_n$

Mais formalmente, seja o conjunto de todos os pares de , de modo que qualquer elemento seja um vetor cujo os coeficientes são todos . A reivindicação é $S=\{1,-1\}^n$ $n$ $\pm 1$ $s\in S$ $s=(s_1,s_2,\ldots,s_n)$ $\pm 1$

\begin{matrix} (1) & 2^{n} n! x_{1} x_{2} \dots x_{n} = \sum_{s \in S} s_{1} s_{2} \dots s_{n} (s_{1} x_{1} + s_{2} x_{2} + \dots + s_{n} x_{n})^{n} . \end{matrix}

$2^n n!\, x_1x_2\cdots x_n = \sum_{s\in S} \color{red}{s_1s_2\cdots s_n}(s_1x_1+s_2x_2+\cdots+s_nx_n)^n.\tag{1}$

Com efeito, o Multinomial teorema indica que o coeficiente da monomial (em que o são números inteiros não negativos somando a ) na expansão de qualquer termo no lado da mão direita é $x_1^{i_1}x_2^{i_2}\cdots x_n^{i_n}$ $i_j$ $n$

(\binom{n}{i_{1}, i_{2}, \dots, i_{n}}) s_{1}^{i_{1}} s_{2}^{i_{2}} \dots s_{n}^{i_{n}} .

$\binom{n}{i_1,i_2,\ldots,i_n}s_1^{i_1}s_2^{i_2}\cdots s_n^{i_n}.$

Na soma , os coeficientes envolvendo aparecem em pares, onde um de cada par envolve o caso , com coeficiente proporcional vezes , igual a e o outro de cada par envolve o caso , com coeficiente proporcional a vezes , igual a $(1)$ $x_1^{i_1}$ $s_1=1$ $\color{red}{s_1}$ $s_1^{i_1}$ $1$ $s_1=-1$ $\color{red}{-1}$ $(-1)^{i_1}$ . Eles cancelam na soma sempre que é ímpar. O mesmo argumento se aplica a . Consequentemente,as únicas monômios que ocorrem com coeficientes diferentes de zero deve ter poderes ímpares detodoo . O único monômio desse tipo é . Aparece com coeficiente $(-1)^{i_1+1}$ $i_1+1$ $i_2, \ldots, i_n$ $x_i$ $x_1x_2\cdots x_n$ em todos ostermos da soma. Consequentemente, seu coeficiente é,QED. $\binom{n}{1,1,\ldots,1}=n!$ $2^n$ $2^nn!$

Precisamos pegar apenas metade de cada par associado com : ou seja, podemos restringir o lado direito de aos termos com e reduzir pela metade o coeficiente do lado esquerdo para . Isso dá precisamente as duas versões do Polarização Identidade citado nesta resposta para os casos e : e $x_1$ $(1)$ $s_1=1$ $2^{n-1}n!$ $n=2$ $n=3$ $2^{2-1}2! = 4$ . $2^{3-1}3!=24$

É claro que a identidade de polarização para variáveis algébricas implica imediatamente para variáveis aleatórias: seja uma variável aleatória . Tome expectativas de ambos os lados. O resultado segue pela linearidade da expectativa. $x_i$ $X_i$

— whuber
fonte

Bem feito em explicar até agora! A distorção multivariada meio que faz sentido. Você poderia adicionar um exemplo que mostrasse a importância dessa distorção multivariada? Como uma questão em modelos estatísticos, ou talvez mais interessante, que caso na vida real estaria sujeito a assimetria multivariada :)?

— PascalVKooten

3

Hummm. Se corrermos ...

a <- rnorm(100);
b <- rnorm(100);
c <- rnorm(100)
mean((a-mean(a))*(b-mean(b))*(c-mean(c)))/
  (sd(a) * sd(b) * sd(c))

parece centrar-se em 0 (não fiz uma simulação real), mas como @ttnphns faz alusão, executando isso (todas as variáveis são iguais)

a <- rnorm(100)
mean((a-mean(a))*(a-mean(a))*(a-mean(a)))/
  (sd(a) * sd(a) * sd(a))

também parece centrar-se em 0, o que certamente me faz pensar que utilidade isso poderia ter.

— Peter Flom - Restabelece Monica
fonte

2

Aparentemente, o absurdo deriva do fato de que a sdvariação é uma função da quadratura, assim como a covariância. Mas, com 3 variáveis, cubing ocorre no numerador, enquanto restos denominador com base em termos originalmente quadrados

— ttnphns

2

Essa é a raiz (trocadilhos)? Numerador e denominador têm as mesmas dimensões e unidades, que são canceladas, de modo que por si só não torna a medida mal formada.

— Nick Cox

3

@ Nick Isso mesmo. Este é simplesmente um dos terceiros momentos centrais multivariados. É um componente de um tensor de classificação três que fornece o conjunto completo de terceiros momentos (que está intimamente relacionado ao componente de ordem 3 da função geradora cumulativa multivariada). Em conjunto com os outros componentes, pode ser útil descrever descrições de assimetrias ("skewness" de maior dimensão) na distribuição. Porém, não é o que alguém chamaria de "correlação": quase por definição, uma correlação é uma propriedade de segunda ordem da variável padronizada.

— whuber

1

Se você precisar calcular a "correlação" entre três ou mais variáveis, não poderá usar o Pearson, pois nesse caso será diferente para diferentes ordens de variáveis, veja aqui . Se você é interessante em dependência linear ou se eles são ajustados pela linha 3D, você pode usar o PCA, obter variância explicada para o primeiro PC, permutar seus dados e encontrar probabilidade, de que esse valor possa ser por razões aleatórias. Eu discuti algo semelhante aqui (consulte Detalhes técnicos abaixo).

Código Matlab

% Simulate our experimental data
x=normrnd(0,1,100,1);
y=2*x.*normrnd(1,0.1,100,1);
z=(-3*x+1.5*y).*normrnd(1,2,100,1);
% perform pca
[loadings, scores,variance]=pca([x,y,z]);
% Observed Explained Variance for first principal component
OEV1=variance(1)/sum(variance)
% perform permutations
permOEV1=[];
for iPermutation=1:1000
    permX=datasample(x,numel(x),'replace',false);
    permY=datasample(y,numel(y),'replace',false);
    permZ=datasample(z,numel(z),'replace',false);
    [loadings, scores,variance]=pca([permX,permY,permZ]);
    permOEV1(end+1)=variance(1)/sum(variance);
end

% Calculate p-value
p_value=sum(permOEV1>=OEV1)/(numel(permOEV1)+1)

— zlon
fonte