Completando uma matriz de correlação 3x3: dois coeficientes dos três dados

20

Fiz essa pergunta em uma entrevista.

Digamos que temos uma matriz de correlação da forma

[\begin{matrix} 1 & 0,6 & 0,8 \\ 0,6 & 1 & γ \\ 0,8 & γ & 1 \end{matrix}]

$\begin{bmatrix}1&0.6&0.8\\0.6&1&\gamma\\0.8&\gamma&1\end{bmatrix}$

Me pediram para encontrar o valor da gama, dada essa matriz de correlação.
Eu pensei que poderia fazer algo com os autovalores, já que eles deveriam ser maiores ou iguais a 0. (Matrix deve ser semidefinido positivo) - mas não acho que essa abordagem dê a resposta. Estou perdendo um truque.

Você poderia fornecer uma dica para resolver o mesmo?

pearson-r correlation-matrix

— novato
fonte

Comentários não são para discussão prolongada; esta conversa foi movida para o bate-papo .

— whuber

1

Uma pesquisa neste site levou diretamente a um dos (vários) tópicos que continham fórmulas relevantes: stats.stackexchange.com/questions/5747 . Também existem alguns gráficos úteis na resposta de felix s .

— whuber

21

Já sabemos que está delimitado entre A matriz de correlação deve ser positiva semidefinida e, portanto, seus principais menores devem ser não negativos $\gamma$ $[-1,1]$

Assim,

\begin{aligned} 1 (1 - γ^{2}) - 0.6 (0.6 - 0.8 γ) + 0.8 (0.6 γ - 0.8) & \geq 0 \\ - γ^{2} + 0.96 γ \geq 0 \\ ⟹ γ (γ - 0.96) \leq 0 and - 1 \leq γ \leq 1 \\ ⟹ 0 \leq γ \leq 0.96 \end{aligned}

$\begin{align*} 1(1-\gamma^2)-0.6(0.6-0.8\gamma)+0.8(0.6\gamma-0.8) &\geq 0\\ -\gamma^2+0.96\gamma \geq 0\\ \implies \gamma(\gamma-0.96) \leq 0 \text{ and } -1 \leq \gamma \leq 1 \\ \implies 0 \leq \gamma \leq 0.96 \end{align*}$

— direitos
fonte

4

@novice Você pode querer ler sobre o Critério de Sylvester

— rightskewed

Ótima resposta. Eu acrescentaria o seguinte: A maneira popular de obter gama é tentar encontrar a gama que levaria à matriz de correlação da menor norma nuclear possível (também conhecida como norma ky-fan) ao resolver as equações acima. Para obter mais informações, consulte "conclusão da matriz", "sensor de compressão" ou consulte este relatório no tópico bit.ly/2iwY1nW .

— Mustafa S Eisa

1

Para que isso seja uma prova, é necessário um resultado na outra direção: se todos os menores líderes não triviais forem

e a matriz tiver determinante

, a matriz será semidefinida positiva.

> 0

$>0$

\geq 0

$\geq 0$

— Federico Poloni

10

Aqui está uma solução mais simples (e talvez mais intuitiva):

Pense na covariância como um produto interno sobre um espaço vetorial abstrato . Em seguida, as entradas na matriz de correlação são para os vectores , , , em que o ângulo de montagem indica o ângulo entre o e . $\cos\langle\mathbf{v}_i,\mathbf{v}_j\rangle$ $\mathbf{v}_1$ $\mathbf{v}_2$ $\mathbf{v}_3$ $\langle\mathbf{v}_i,\mathbf{v}_j\rangle$ $\mathbf{v}_i$ $\mathbf{v}_j$

Não é difícil visualizar que é limitada por . O ligado na sua co-seno ( ) é, assim, $\langle\mathbf{v}_2,\mathbf{v}_3\rangle$ $|\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle|$ $\gamma$ . A trigonometria básica fornece $\cos\left[\langle\mathbf{v}_1,\mathbf{v}_2\rangle\pm\langle\mathbf{v}_1,\mathbf{v}_3\rangle\right]$ . $\gamma\in[0.6\times 0.8 - 0.6\times 0.8, 0.6\times 0.8 + 0.6\times 0.8] = [0, 0.96]$

Edit: Note que o na última linha é realmente - a segunda aparição de 0.6 e 0.8 ocorre por coincidência, graças a $0.6\times 0.8 \mp 0.6\times 0.8$ $\cos\langle\mathbf{v}_1,\mathbf{v}_2\rangle\cos\langle\mathbf{v}_1,\mathbf{v}_3\rangle\mp \sin\langle\mathbf{v}_1,\mathbf{v}_3\rangle\sin\langle\mathbf{v}_1,\mathbf{v}_2\rangle$ $0.6^2+0.8^2=1$ .

— yangle
fonte

1

+1, um raciocínio geométrico legítimo (dizendo isso, no entanto, não verifiquei seus cálculos). Foi exatamente isso que propus nos comentários à pergunta (infelizmente, todos os comentários foram movidos pelo moderador para conversar, veja o link acima).

— precisa saber é o seguinte

Parece-me que você "provou" que todas as correlações devem ser não negativas, porque parece que seu cálculo sempre dará zero para o limite inferior. Se esse não for o caso, você poderia elaborar como o seu cálculo funciona em geral? Realmente não confio - ou talvez não entenda - o seu limite, porque em três ou mais dimensões você sempre pode encontrar um

para o qual ambos

e depois seu limite implica que

é sempre zero! (cc @ttnphns)

v_{1}

$v_1$

v_{1} \cdot v_{2} = v_{1} \cdot v_{3} = 0

$v_1\cdot v_2=v_1\cdot v_3=0$

v_{2} \cdot v_{3}

$v_2\cdot v_3$

— whuber

@ whuber: Desculpe pela confusão. O cálculo nem sempre fornece zero para o limite inferior. Eu alterei minha resposta.

— yangle

Como você responde à minha última preocupação? Parece indicar que seus limites estão incorretos.

— whuber

@whuber: No seu caso, ⟨v1, v2⟩ = ⟨v1, v3⟩ = π / 2, daí o limite | ⟨v1, v2⟩ ± ⟨v1, v3⟩ | é [0, π] conforme o esperado. O cos⟨v1, v2⟩cos⟨v1, v3⟩∓sin⟨v1, v3⟩sin⟨v1, v2⟩ em γ também funciona como [-1, 1].

— yangle

4

Aqui está o que eu quis dizer no meu comentário inicial à resposta e o que eu percebo que @yangle pode estar falando (embora eu não tenha seguido / verificado o cálculo).

"Matriz deve ser semidefinida positiva" implica que os vetores variáveis são um monte no espaço euclidiano. O caso da matriz de correlação é mais fácil do que a matriz de covariância, porque os três comprimentos dos vetores são fixados em 1. Imagine 3 vetores unitários XYZ e lembre-se de que é o cosseno do ângulo . Portanto, e . Quais podem ser os limites para $r$ $\cos \alpha=r_{xy}=0.6$ $\cos \beta=r_{yz}=0.8$ $\cos \gamma=r_{xz}$ ? Essa correlação pode assumir qualquer valor definido por Z circunscrevendo sobre Y (mantendo o ângulo com ele): $r_{yz}=0.8$

Enquanto gira, duas posições são notáveis como o último wrt X, ambas são quando Z cai no plano XY. Um está entre X e Y, e o outro está no lado oposto de Y. Estes são mostrados por vetores azuis e vermelhos. Em ambas as posições, exatamente a configuração XYZ (matriz de correlação) é singular. E esses são os ângulos mínimo e máximo (daí a correlação) Z pode atingir X errado.

Escolhendo a fórmula trigonométrica para calcular a soma ou diferença de ângulos em um plano, temos:

como limites. $\cos \gamma = r_{xy} r_{yz} \mp \sqrt{(1-r_{xy}^2)(1-r_{yz}^2)} = [0,0.96]$

Essa visualização geométrica é apenas outra (e uma específica e mais simples no caso 3D) sobre o que @rightskewed expressa em termos algébricos (menores etc.).

— ttnphns
fonte

Se X, Y, Z são variáveis aleatórias, como você as mapeia para vetores no espaço 3d (eles podem ser vetores apenas no espaço 1d). Além disso, se os RVs são Nx1, então eles serão vetores no espaço dimensional N?

— noviço

@novice Sim, eles são inicialmente 3 vetores no espaço Nd, mas apenas 3 dimensões não são redundantes. Por favor, siga o 2º link na resposta e leia outras referências lá para o espaço do assunto, onde é explicado.

— ttnphns

4

Brincar com os principais menores de idade pode ser bom em problemas de 3 por 3 ou talvez 4 por 4, mas fica sem gás e com estabilidade numérica em dimensões mais altas.

Para um único problema de parâmetro "livre" como esse, é fácil ver que o conjunto de todos os valores que compõem o psd da matriz será um intervalo único. Portanto, é suficiente encontrar os valores mínimos e máximos. Isso pode ser feito facilmente, resolvendo numericamente um par de problemas lineares de Programação Semi-Definida (SDP):

minimizar γ sujeito à matriz é psd.
maximizar γ sujeito à matriz é psd.

Por exemplo, esses problemas podem ser formulados e resolvidos numericamente usando o YALMIP no MATLAB.

gama = sdpvar; A = [1 .6 .8; .6 1 gama; .8 gama 1]; otimizar (A> = 0, gama)
otimizar (A> = 0, -gamma)

Rápido, fácil e confiável.

BTW, se o entrevistador do smarty pants fazer a pergunta não souber que a Programação SemiDefinita, que é bem desenvolvida e possui otimizadores numéricos sofisticados e fáceis de usar para resolver problemas práticos com segurança, pode ser usada para resolver esse problema e muito mais. variantes difíceis, diga a ele que isso não é mais 1870 e que é hora de aproveitar os desenvolvimentos computacionais modernos.

— Mark L. Stone
fonte

4

Vamos considerar o seguinte conjunto convexo

{(x, y, z) \in R^{3} : [\begin{matrix} 1 & x & y \\ x & 1 & z \\ y & z & 1 \end{matrix}] ⪰ O_{3}}

$\Bigg\{ (x,y,z) \in \mathbb R^3 : \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} \succeq \mathrm O_3 \Bigg\}$

que é um espectroedro chamado $3$ dimensional elliptope . Aqui está uma representação deste elíptico

Interseção deste elíptico com os planos definidos por $x=0.6$ e por $y=0.8$ , obtemos um segmento de linha cujos pontos finais são coloridos em amarelo

O limite do elíptico é uma superfície cúbica definida por

det [\begin{matrix} 1 & x & y \\ x & 1 & z \\ y & z & 1 \end{matrix}] = 1 + 2 x y z - x^{2} - y^{2} - z^{2} = 0 0

$\det \begin{bmatrix} 1 & x & y\\ x & 1 & z\\ y & z & 1\end{bmatrix} = 1 + 2 x y z - x^2 - y^2 - z^2 = 0$

E se $x=0.6$ e $y=0.8$ , então a equação cúbica acima se resume à equação quadrática

0,96 z - z^{2} = z (0,96 - z) = 0 0

$0.96 z - z^2 = z (0.96 - z) = 0$

Assim, a interseção do elíptico com os dois planos é o segmento de linha parametrizado por

{(0,6, 0,8, t) ∣ 0 0 \leq t \leq 0,96}

$\{ (0.6, 0.8, t) \mid 0 \leq t \leq 0.96 \}$

— Rodrigo de Azevedo
fonte

1

Toda matriz semi-definida positiva é uma matriz de correlação / covariância (e vice-versa).

Para ver isso, comece com uma matriz semi-definida positiva $A$ e tomar sua decomposição autônoma (que existe pela forma espectral, já que $A$ is symmetric) $A=UDU^T$ where $U$ is a matrix of orthonormal eigenvectors and $D$ is a diagonal matrix with eigen values on the diagonal. Then, let $B= U D^{1/2} U^T$ where $D^{1/2}$ is a diagonal matrix with the square root of eignevalues on the diagonal.

Then, take a vector with i.i.d. mean zero and variance 1 entries, $\mathbf{x}$ and note that $B \mathbf{x}$ also has mean zero, and covariance (and correlation) matrix $A$ .

Now, to see every correlation/covariance matrix is positive semi-definite is simple: Let $R=E[\mathbf{x}\mathbf{x}^T]$ be a correlation matrix. Then, $R = R^T$ is easy to see, and $\mathbf{a}^T R \mathbf{a} = E[(\mathbf{a}^T \mathbf{x})^2] \geq 0$ so the Rayleigh quotient is non-negative for any non-zero $\mathbf{a}$ so $R$ is positive semi-definite.

Agora, observando que uma matriz simétrica é semi-definida positiva, se e somente se seus autovalores forem negativos, vemos que sua abordagem original funcionaria: calcule o polinômio característico, observe suas raízes para ver se são não-negativos. Observe que é fácil testar a certeza positiva com o Critério de Sylvester (como mencionado no comentário de outra resposta; uma matriz é positiva definida se e somente se os principais menores todos tiverem determinante positivo); existem extensões para semidefinido (todos os menores têm determinante não negativo), mas você deve verificar $2^n$ menores neste caso, contra apenas $n$ para definitivo positivo.

— homem Morcego
fonte