Compreendendo os cálculos de correlação à distância

Até onde eu entendi, a correlação de distância é uma maneira robusta e universal de verificar se há uma relação entre duas variáveis ​​numéricas. Por exemplo, se tivermos um conjunto de pares de números:

(x1, y1)
(x2, y2)
...
(xn, yn)

podemos usar a correlação de distância para verificar se existe alguma relação (não necessariamente linear) entre as duas variáveis ​​( xe y). Além disso, xe ypodem ser vetores de diferentes dimensões.

É relativamente fácil calcular a correlação de distância. Primeiro, usamos $x_i$ para calcular a matriz de distância. Então calculamos a matriz de distância usando $y_i$ . As duas matrizes de distância terão as mesmas dimensões porque o número de $x_i$ e $y_i$ é o mesmo (porque elas vêm em pares).

Agora temos muitas distâncias que podem ser emparelhadas. Por exemplo, o elemento (2,3)da primeira matriz de distância é emparelhado com o elemento (2,3)da segunda matriz de distância. Portanto, temos um conjunto de pares de distâncias e podemos usá-lo para calcular a correlação (correlação entre distâncias).

Se dois tipos de distâncias estão correlacionados, isso significa que Xs próximos geralmente significam Ys próximos. Por exemplo, se $x_7$ estiver próximo de $x_{13}$ , significa que é provável que $y_7$ esteja próximo de $y_{13}$ . Assim, podemos concluir que Xs e Ys são dependentes.

Parece razoável, no entanto , existem dois aspectos que eu não entendo .

Primeiro , para calcular a correlação de distância, não usamos as duas matrizes de distância diretamente. Aplicamos a eles o procedimento de dupla centralização (para que a soma de todos os elementos em qualquer linha (ou coluna) seja igual a zero). Eu não entendo por que precisamos fazer isso. Qual é a lógica (ou intuição) por trás dessa etapa?

Segundo , nas matrizes de distância originais, temos zeros na diagonal. Portanto, se calcularmos as correlações entre as distâncias, teremos uma correlação estatisticamente significante apenas porque muitos zeros da primeira matriz estão emparelhados com os zeros correspondentes na segunda matriz. Como esse problema é resolvido?

A covariância / correlação à distância (= covariância / correlação browniana) é calculada nas seguintes etapas:

1. Matriz de computação da distância euclidiana entre Ncasos de variável , e uma outra matriz de igual modo por variável Y . Qualquer uma das duas características quantitativas, X ou $X$$Y$$X$$Y$ , pode ser multivariada, não apenas univariada.
2. Realize a centralização dupla de cada matriz. Veja como a centralização dupla geralmente é feita. No entanto, no nosso caso, ao fazê-lo, não quadracione as distâncias inicialmente e não divida por $-2$ no final. Linha, coluna e média geral dos elementos tornam-se zero.
3. Multiplique as duas matrizes resultantes elemento a elemento e calcule a soma; ou, de maneira equivalente, desempacote as matrizes em dois vetores de coluna e calcule seu produto cruzado somado.
4. Média, dividindo pelo número de elementos N^2,.
5. Tome raiz quadrada. O resultado é a covariância distância entre e Y .$X$$Y$
6. As variações de distância são as covariâncias de distância de , de Y com seus próprios eus; você as calcula da mesma forma, pontos 3-4-5.$X$$Y$
7. A correlação de distância é obtida a partir dos três números analogamente como a correlação de Pearson é obtida a partir da covariância usual e do par de variações: divida a covariância pela raiz quadrada do produto de duas variações.

A covariância à distância (e correlação) não é a covariância (ou correlação) entre as distâncias em si. É a covariância (correlação) entre os produtos escalares especiais (produtos de ponto) que compõem as matrizes "duplo centro".

No espaço euclidiano, um produto escalar é a semelhança univocalmente ligada à distância correspondente. Se você tiver dois pontos (vetores), poderá expressar sua proximidade como produto escalar em vez de sua distância sem perder informações.

No entanto, para calcular um produto escalar, você deve se referir ao ponto de origem do espaço (os vetores vêm da origem). Geralmente, pode-se colocar a origem onde ele gosta, mas com freqüência e conveniente é colocá-la no meio geométrico da nuvem dos pontos, a média. Como a média pertence ao mesmo espaço que o abrangido pela nuvem, a dimensionalidade não aumentaria.

Agora, a dupla centralização usual da matriz de distância (entre os pontos de uma nuvem) é a operação de converter as distâncias em produtos escalares enquanto coloca a origem naquele meio geométrico. Ao fazê-lo, a "rede" de distâncias é substituída equivalentemente pela "explosão" de vetores, de comprimentos específicos e ângulos pares, da origem:

[A constelação na minha foto de exemplo é plana, que revela que a "variável" diz que foi , gerou que era bidimensional. Quando$X$$X$ é uma variável de coluna única, todos os pontos ficam em uma linha, é claro.]

Um pouco formalmente sobre a operação de dupla centralização. Vamos ter n points x p dimensionsdados (no caso univariado ). Deixe- D ser matriz de distância euclidiana entre os pontos. Deixe C ser X com as suas colunas centrado. Então S = D2 centrado  duas vezes é igual a C C $\bf X$p=1$\bf D$n x nn$\bf C$$\bf X$$\mathbf S = \text{double-centered } \mathbf D^2$$\bf CC'$ , os produtos escalares entre as linhas depois da nuvem de pontos foi centrado. A principal propriedade da dupla centralização é que , e essa soma é igual à soma negada da$\frac{1}{2n} \mathbf {\sum D^2} = trace(\mathbf S) = trace(\mathbf {C'C})$ fora elementos -diagonal de .$\bf S$

Retornar à correlação de distância. O que estamos fazendo quando calculamos a covariância à distância? Convertemos ambas as redes de distâncias em seus grupos correspondentes de vetores. E então calculamos a covariação (e subsequentemente a correlação) entre os valores correspondentes dos dois grupos: cada valor escalar do produto (valor anterior da distância) de uma configuração está sendo multiplicado pelo valor correspondente da outra configuração. Isso pode ser visto como (como foi dito no ponto 3), calculando a covariância usual entre duas variáveis, após a vetorização das duas matrizes nessas "variáveis".

Assim, estamos covariando os dois conjuntos de semelhanças (os produtos escalares, que são as distâncias convertidas). Qualquer tipo de covariância é o produto cruzado dos momentos: você precisa calcular esses momentos, os desvios da média, primeiro, - e a dupla centralização era esse cálculo. Esta é a resposta para sua pergunta: uma covariância precisa se basear em momentos, mas distâncias não são momentos.

A obtenção adicional de raiz quadrada depois (ponto 5) parece lógica, porque no nosso caso o momento já era uma espécie de covariância (um produto escalar e uma covariância são compeers estruturalmente) e, por isso, ocorreu uma espécie de covariâncias multiplicadas duas vezes. Portanto, para voltar ao nível dos valores dos dados originais (e para poder calcular o valor de correlação), é preciso criar a raiz posteriormente.

Uma nota importante deve finalmente terminar. Se estivéssemos centralizando duas vezes sua maneira clássica - ou seja, depois de quadrar as distâncias euclidianas -, acabaríamos com a covariância à distância que não é covariância à distância verdadeira e não é útil. Ele parecerá degenerado em uma quantidade exatamente relacionada à covariância usual (e a correlação de distância será uma função da correlação linear de Pearson). O que torna a covariância / correlação à distância única e capaz de medir a associação não linear, mas uma forma genérica de dependência , de modo que dCov = 0 se e somente se as variáveis ​​forem independentes - é a falta de quadratura das distâncias ao executar a dupla centralização (consulte ponto 2) Na verdade, qualquer potência das distâncias no intervalo faria, no entanto, o formulário padrão é fazê-lo no poder 1 . Por que esse poder, e não o poder 2, facilita o coeficiente de se tornar a medida da interdependência não-linear é uma questão matemática bastante complicada (para mim), comfunções característicasde distribuição, e eu gostaria de ouvir alguém mais educado para explicar aqui a mecânica da distância covariância / correlação com palavras possivelmente simples (uma veztenteisem sucesso).$(0,2)$$1$$2$

Eu acho que as duas perguntas estão profundamente ligadas. Enquanto as diagonais originais na matriz da distância são 0, o que é usado para a covariância (que determina o numerador da correlação) são os valores duplamente centrados das distâncias - o que, para um vetor com qualquer variação, significa que as diagonais serão negativo.

Então, vamos percorrer um caso independente simples e ver se isso nos dá alguma intuição sobre por que a correlação é 0 quando as duas variáveis ​​são independentes.

$(X,Y)= [(0,0),(0,1),(1,0),(1,1)]$

$X$$Y$

$a=\left[\begin{array}{cccc} 0&0&1&1\\ 0&0&1&1\\ 1&1&0&0\\ 1&1&0&0\end{array}\right]$

$b=\left[\begin{array}{cccc} 0&1&0&1\\ 1&0&1&0\\ 0&1&0&1\\ 1&0&1&0\end{array}\right]$

$A$

$A=\left[\begin{array}{rrrr} -.5&-.5&.5&.5\\ -.5&-.5&.5&.5\\ .5&.5&-.5&-.5\\ .5&.5&-.5&-.5\end{array}\right]$

$B=\left[\begin{array}{rrrr} -.5&.5&-.5&.5\\ .5&-.5&.5&-.5\\ -.5&.5&-.5&.5\\ .5&-.5&.5&-.5\end{array}\right]$

$-.5\cdot-.5=.25$$.5\cdot.5=.25$$-.5\cdot.5=-.25$$0$

$0$

$0$$a$$b$$0.25$ centralização tem essa propriedade: também funcionaria para centralizar uma única (com a linha, coluna ou média geral)? Não foi possível ajustar distâncias reais e apenas definir a diagonal como negativa da soma das linhas, da coluna ou da soma geral?

(Como ttnphns aponta, isso por si só não é suficiente, pois o poder também é importante. Podemos fazer a mesma centralização dupla, mas se as adicionarmos em quadratura, perderemos a propriedade if e only if.)