A correlação da amostra está sempre positivamente correlacionada com a variação da amostra?

A correlação da amostra e o desvio padrão da amostra de (denominado ) parecem correlacionar-se positivamente se eu simular normal bivariado , com uma correlação verdadeira positiva (e parecer correlacionar-nos negativamente se a correlação verdadeira entre e for negativo). Achei isso um pouco contra-intuitivo. Muito heuristicamente, suponho que isso reflita o fato de que representa o aumento esperado em Y (em unidades de SD (Y)) para um aumento de um DP em X, e se estimamos um maior , então reflete a mudança em Y associado a uma mudança maior no X. $r$ $X$ $s_X$ $X$ $Y$ $X$ $Y$ $r$ $s_X$ $r$

No entanto, gostaria de saber se para é válido em geral (pelo menos no caso em que X e Y são bivariados normais e com n grande). Deixando denotar um verdadeiro SD, temos: $Cov(r, s_x) >0$ $r>0$ $\sigma$

C o v (r, s_{X}) = E [r s_{X}] - ρ σ_{x}

$Cov(r, s_X) = E [ r s_X] - \rho \sigma_x$

\approx E [\frac{\hat{C o v} (X, Y)}{s_{Y}}] - \frac{C o v (X, Y)}{σ_{Y}}

$\approx E \Bigg[ \frac{\widehat{Cov}(X,Y)}{s_Y} \Bigg] - \frac{Cov(X,Y)}{\sigma_Y}$

Tentei usar uma expansão de Taylor no primeiro mandato, mas isso depende de , portanto esse é um beco sem saída. Alguma ideia? $Cov(\widehat{Cov}(X,Y), s_Y)$

EDITAR

Talvez uma direção melhor seria tentar mostrar que , onde é o coeficiente OLS de Y em X. Então poderíamos argumentar que, desde que , isso implica o resultado desejado. Como é quase como uma diferença da média da amostra, talvez possamos obter o resultado anterior usando algo como a independência conhecida da média e variação da amostra para um RV normal? $Cov(\widehat{\beta}, s_X)=0$ $\widehat{\beta}$ $\widehat{\beta} = r \frac{s_Y}{s_X}$ $\widehat{\beta}$

correlation covariance independence

— meia passagem
fonte

Seria inalterado. Hmm. Receio ainda não ver a relevância.

— half-pass

Eu provavelmente deve também notar que, enquanto eu gostaria que isso fosse uma pergunta lição de casa, não é ... :)

— meia-pass

Ah, eu não li a pergunta com atenção suficiente. Me desculpe.

— jbowman

A primeira igualdade no seu cálculo não está correta. é consistente para o desvio padrão, mas não é imparcial: en.wikipedia.org/wiki/Unbiased_estimation_of_standard_deviation

s_{x} = \sqrt{s_{x}^{2}}

$s_x = \sqrt{s^2_x}$

— Andrew M

No entanto, é extremamente próximo de imparcial para n grande - o fator de correção de regra de ouro para um VR normal é (n - 1,5) vs. (n-1).

— half-pass

Respostas:

TL; dr

As entradas fora da diagonal da covariância da amostra geralmente serão correlacionadas com as entradas diagonais porque somente quando condições especiais dos momentos mistos de 4ª ordem são mantidos. Quando é bivariável Gaussiana, estas condições são somente quando é independente de . $E(XY^3) - E(XY)E(Y^2) = 0$ $(X,Y)$ $X$ $Y$

Detalhes

Há um resultado assintótico que pode ser mostrado aqui examinando a distribuição limitadora de vezes a covariância da amostra (pelo CLT, será normal multivariada) e, em seguida, aplicando o método delta. Infelizmente, isso significa que teremos que desviar através de uma derivação da distribuição da covariância de amostra pois não consigo encontrar boas referências on-line. Como alternativa, se você estiver disposto a assumir a normalidade, o conhecimento da covariância da distribuição Wishart permitirá que você pule diretamente para a seção 2. $\sqrt n$ $^1$

1 A distribuição assintótica da covariância da amostra

Seja uma amostra iid de uma distribuição bivariada com quarto momentos finitos e deixe Sem perda de generalidade e para evitar alguma contabilidade adicional irritante, assumiremos . $V_1, \dotsc, V_n$ $V_i = \begin{pmatrix} X_i \\ Y_i \end{pmatrix}$

Cov (V_{i}) = (\begin{matrix} σ^{2} & ρ σ τ \\ ρ σ τ & τ^{2} \end{matrix}) = Σ .

$\text{Cov}(V_i) = \begin{pmatrix} \sigma^2 & \rho \sigma \tau \\ \rho \sigma \tau & \tau^2 \end{pmatrix} = \Sigma.$

E (V_{i}) = 0

$E(V_i) = \mathbf{0}$

Então, pela linearidade da expectativa e pela lei fraca de grandes números, a covariância da amostra é imparcial e consistente para e, de fato

S_{n} = \frac{1}{n - 1} \sum_{i = 1}^{n} (V_{i} - {\bar{V}}_{n}) (V_{i} - {\bar{V}}_{n})^{T} = \frac{1}{n - 1} \sum_{i = 1} V_{i} V_{i}^{T} - \frac{n}{n - 1} {\bar{V}}_{n} {\bar{V}}_{n}^{T}

$S_n = \frac{1}{n-1} \sum_{i=1}^n (V_i - \bar V_n) (V_i - \bar V_n)^T = \frac{1}{n-1}\sum_{i=1} V_i V_i^T - \frac{n}{n-1} \bar V_n \bar V_n^T$

Σ

$\Sigma$

\sqrt{n} (S_{n} - Σ) \to_{d} N (0, Λ) .

$\sqrt{n} (S_n - \Sigma) \rightarrow_d N(0, \Lambda).$

O exercício passa assim para determinar . Para uma matriz simétrica , seja seja a "vetorização" do seu triângulo superior. Agora considere um único elemento da média que entra no termo inicial (a matriz de dispersão) de : Claramente, pelo pressuposto da média zero, já e considerando as potências de e que aparecem em , podemos apenas escrever $\Lambda$ $\mathbf{A} = \begin{pmatrix} a & b \\ b & c \end{pmatrix}$ $\tilde{\mathbf{A}} = (a, b, c)^T$ $S_n$

{\tilde{Z}}_{i} = \tilde{V_{i} V_{i}^{T}} = (\begin{matrix} X_{i}^{2} \\ X_{i} Y_{i} \\ Y_{i}^{2} \end{matrix}) .

$\tilde Z_i = \widetilde{V_i V_i^T} = \begin{pmatrix} X_i^2 \\ X_i Y_i \\ Y_i^2 \end{pmatrix}.$

E (Z_{i}) = \tilde{Σ}

$E(Z_i) = \tilde \Sigma$

X

$X$

Y

$Y$

{\tilde{Z}}_{i} {\tilde{Z}}_{i}^{T}

$\tilde{Z}_i \tilde{Z}_i^T$

Cov ({\tilde{Z}}_{i}) = E ({\tilde{Z}}_{i} {\tilde{Z}}_{i}^{T}) - E ({\tilde{Z}}_{i}) E ({\tilde{Z}}_{i})^{T} = (\begin{matrix} κ_{40} σ^{4} & κ_{31} σ^{2} τ & κ_{22} σ^{2} τ^{2} \\ κ_{31} σ^{2} τ & κ_{22} σ^{2} τ^{2} & κ_{13} σ τ^{3} \\ κ_{22} σ^{2} τ^{2} & κ_{13} σ τ^{3} & κ_{04} τ^{4} \end{matrix}) - \tilde{Σ} {\tilde{Σ}}^{T} .

$\text{Cov}(\tilde Z_i) = E(\tilde Z_i \tilde Z_i^T) - E(\tilde Z_i) E(\tilde Z_i)^T = \begin{pmatrix} \kappa_{40} \sigma^4 & \kappa_{31} \sigma^2 \tau & \kappa_{22} \sigma^2 \tau^2 \\ \kappa_{31} \sigma^2 \tau & \kappa_{22} \sigma^2 \tau^2 & \kappa_{13} \sigma \tau^3 \\ \kappa_{22} \sigma^2 \tau^2 & \kappa_{13} \sigma \tau^3 & \kappa_{04} \tau^4 \end{pmatrix} - \tilde \Sigma \tilde \Sigma^T.$

Aqui indica o momento padronizado misto (sobre a média, mas assumimos que a média é zero no início).

κ_{Eu j} = E [{(\frac{X_{Eu}}{σ})}^{Eu} {(\frac{Y_{Eu}}{τ})}^{j}]

$\kappa_{ij} = E \left[ \left( \frac{X_i}{\sigma} \right)^i \left( \frac{Y_i}{\tau} \right)^j \right]$

i j

$ij$

Como alternativa, temos a fatoração onde , e

Cov ({\tilde{Z}}_{Eu}) = D (σ, τ) [K - R (ρ) R (ρ)^{T}] D (σ, τ), (1 1)

$\text{Cov}(\tilde Z_i) = D(\sigma, \tau) [ K - R(\rho) R(\rho)^T ] D(\sigma, \tau), \quad (1)$

D (σ, τ) = diag (σ^{2}, σ τ, τ^{2})

$D(\sigma, \tau) = \text{diag}(\sigma^2, \sigma \tau, \tau^2)$

R (ρ) = (1, ρ, 1)^{T}

$R(\rho) = (1, \rho, 1)^T$

K = (\begin{matrix} κ_{04} & κ_{31} & κ_{22} \\ κ_{31} & κ_{22} & κ_{13} \\ κ_{22} & κ_{13} & κ_{04} \end{matrix}) .

$K = \begin{pmatrix} \kappa_{04} & \kappa_{31} & \kappa_{22} \\ \kappa_{31} & \kappa_{22} & \kappa_{13} \\ \kappa_{22} & \kappa_{13} & \kappa_{04} \end{pmatrix}.$

Portanto, temos que e , representando a variação da amostra de e a covariância de estão correlacionados, a menos que . Quando é multivariada normal, isso ocorre apenas quando . $Z_{11}$ $Z_{12}$ $X$ $X,Y$ $\rho = \kappa_{31}$ $V_i$ $\rho = 0$

2 O coeficiente de correlação

Agora considere a transformação em . Isso fornece a distribuição bivariada do coeficiente de correlação da amostra e a variação da amostra de x. Pelo método delta e normalidade assintótica de , onde é o jacobiano de . $g(x, y, z) = (x, \frac{y}{\sqrt{z}\sqrt{x}})$ $\tilde{S_n}$ $S_n$

\sqrt{n} (g (\tilde{S_{n}}) - (ρ, σ^{2})^{T}) \to N (0, J (\tilde{Σ})^{T} \tilde{Λ} J (\tilde{Σ})),

$\sqrt{n}( g(\tilde{S_n}) - (\rho, \sigma^2)^T ) \rightarrow N(0, \mathbf{J}(\tilde \Sigma)^T \tilde \Lambda \mathbf{J}(\tilde \Sigma)),$

J (\tilde{Σ}) = [\nabla g_{1}^{T}, \nabla g_{2}^{T}]^{T}

$\mathbf{J}(\tilde \Sigma) = [\nabla g_1^T, \nabla g_2^T]^T$

g

$g$

Acho (embora você provavelmente queira verificar minha álgebra ..) que o gradiente do segundo componente de é Então $g$

\nabla g_{2} (σ^{2}, ρ σ τ, τ^{2}) = {(- \frac{ρ}{2 σ^{2}}, \frac{1}{σ τ}, - \frac{ρ}{2 τ^{2}})}^{T},

$\nabla g_2 (\sigma^2, \rho \sigma \tau, \tau^2) = \left( -\frac{\rho}{2\sigma^2}, \frac{1}{\sigma \tau}, -\frac{\rho}{2 \tau^2} \right)^T,$

J (σ, ρ, τ) = (\begin{matrix} 1 & - \frac{ρ}{2 σ^{2}} \\ 0 & \frac{1}{σ τ} \\ 0 & - \frac{ρ}{2 τ^{2}} \end{matrix}) .

$J(\sigma, \rho, \tau) = \begin{pmatrix} 1 & -\frac{\rho}{2\sigma^2} \\ 0 & \frac{1}{\sigma \tau} \\ 0 & -\frac{\rho}{2 \tau^2} \end{pmatrix}.$

Juntando tudo isso com a fatoração na equação (1), obtém-se

J (σ, ρ, τ)^{T} D (σ, τ) [K - R (ρ) R (ρ)^{T}] D (σ, τ) J (σ, ρ, τ) .

$J(\sigma, \rho, \tau)^T D(\sigma, \tau) [ K - R(\rho) R(\rho)^T ] D(\sigma, \tau) J(\sigma, \rho, \tau).$

Conectando alguns números fáceis de usar, digamos e , teríamos para onde geralmente é uma matriz densa. Cortesia de Mathematica, eu expandi este produto em termos de entradas em e recontei abaixo $\sigma = \tau = 1$ $\rho = .5$

J (σ, ρ, τ)^{T} D (σ, τ) [K - R (ρ) R (ρ)^{T}] D (σ, τ) J (σ, ρ, τ) = (\begin{matrix} - 1 / 4 & 1 & - 1 / 4 \\ 1 & 0 & 0 \end{matrix}) I Ω I (\begin{matrix} - 1 / 4 & 1 \\ 1 & 0 \\ - 1 / 4 & 0 \end{matrix}) = Q,

$J(\sigma, \rho, \tau)^T D(\sigma, \tau) [ K - R(\rho) R(\rho)^T ] D(\sigma, \tau)J(\sigma, \rho, \tau) = \begin{pmatrix} -1/4 & 1 & -1/4 \\ 1 & 0 & 0 \end{pmatrix} \mathbf I \Omega \mathbf I \begin{pmatrix} -1/4 & 1 \\ 1 & 0 \\ -1/4 & 0 \end{pmatrix} = \mathbf{Q},$

Ω = K - R (ρ) R (ρ)^{T}

$\Omega = K - R(\rho) R(\rho)^T$

K

$K$

Q_{12}

$Q_{12}$

n \times Q_{12} = n \times Cov (r, s_{x}^{2}) = κ_{31} - \frac{κ_{04} + κ_{22}}{4} (2)

$n \times Q_{12} = n \times \text{Cov}(r, s^2_x) = \kappa_{31} -\frac{\kappa_{04} + \kappa_{22}}{4} \quad (2)$ que é uma expressão opaca em termos de momentos mistos, mas certamente não parece que seja zero, geralmente.

3 Especializando-se no caso normal

O teorema de Isserlis fornece uma maneira de derivar os momentos mistos de um gaussiano. Novamente assumindo e , teríamos , portanto, , como você observa. $\sigma = \tau = 1$ $\rho = .5$ $\kappa_{31} = 3/2, \kappa_{04} = 3, \kappa_{22} = 3/2$ $Q_{12} = 3/2 - (3 + 3/2)/4 = 3/8 > 0$

4 Simulação e Exemplo

Abaixo, encontre uma equação de verificação de simulação (1). Para e (em vermelho e azul, respectivamente) a partir de observações iid um normal multivariada, que derivam da covariância de por de bootstrap. A covariância entre e é plotada no eixo y, pois varia de a . O valor teórico da equação (1) e o uso de fatos sobre os momentos de 4ª ordem do gaussiano bivariado são plotados em uma linha preta tracejada. $n=100$ $n=1000$ $\sqrt{n} \tilde S_n$ $S_{xy}$ $S_{xx}$ $\rho$ $-.9$ $.9$

Um exercício divertido seria tentar encontrar uma família de cópulas que, para qualquer valor de , renderizasse ... $\rho$ $\text{Cov}(S_{xy}, S_{xx}) = 0$

library(mvtnorm)
library(tidyverse)
library(boot)
params = expand.grid(sx = 1, sy = 1, n = c(100, 1000), rho = seq(-.9, .9, by = .1), replicate = 1:10) %>% mutate(k04 = 3*sx^4, k31 = 3*sx*rho*sx*sy, q12 = k31 - rho*sx*sy)

Sn_tilde = function(dat, idx){
    Sn = cov(dat[idx,,drop =FALSE])*sqrt(length(idx))
    Sn[upper.tri(Sn, diag = TRUE)]
}

out = params %>% group_by_all() %>% do({
    x = with(., rmvnorm(n = .$n, sigma = matrix(c(sx^2, rho*sx*sy,
                                            rho*sx*sy, sy^2), nrow = 2)))
colnames(x) = c('X', 'Y')
b = boot(x, Sn_tilde, R = 500)
cov_Sn = cov(b$t)
    rownames(cov_Sn) = colnames(cov_Sn) = c('Sxx', 'Sxy', 'Syy')
    as_tibble(cov_Sn, rownames = 'j')
})


ggplot(filter(out,  j == 'Sxx'), aes(x = rho, y = Sxy, color = factor(n))) + geom_point(size = .5, alpha = .5) + geom_smooth(method = 'lm') + geom_line(data = filter(params, replicate == 1, n == 100), aes(y = q12), lty = 2, color = 'black') + theme_minimal() + ylab('Cov(Sxy, Sxx)')

^{1}

$^1$ Isso usa muito as notas da aula de Michael Perlman sobre probabilidade e estatística matemática, que eu realmente gostaria que estivessem disponíveis eletronicamente, para que eu pudesse substituir as minhas quando elas se desgastarem ...

— Andrew M
fonte

Obrigado! No entanto, acho que pode haver um passo em falso em algum lugar: de fato, parece que , não 3/8, empiricamente (embora não o faça porque e ).

C o v (r, s_{x}) \to 0

$Cov(r, s_x) \to 0$

C o r r (r, s_{x})

$Corr(r, s_x)$

V a r (r, s_{x}) \to 0

$Var(r, s_x) \to 0$

V a r (r, s_{x}) \to 0

$Var(r, s_x) \to 0$

— half-pass

Vou fazer uma nova pergunta sobre isso, pois também não sei como mostrar .

C o v (r, s_{x}) \to 0

$Cov(r, s_x) \to 0$

— half-pass

(+1) Postagem muito interessante. Parece que para a bivariada , a expressão avaliada em . Isso leva ao resultado de que se enquanto se .

N (0, 1)

$N(0,1)$

(2)

$(2)$

3 ρ - 1 - 0.5 ρ^{2}

$3\rho - 1 - 0.5 \rho^2$

ρ < 0.35 ⟹ Cov (r, s_{x}^{2}) < 0

$\rho<0.35 \implies \text{Cov}(r, s^2_x) <0$

ρ > 0.35 ⟹ Cov (r, s_{x}^{2}) > 0

$\rho>0.35 \implies \text{Cov}(r, s^2_x) >0$

— Alecos Papadopoulos

@ meia passagem: o par precisa ser ampliado por para ter uma distribuição limitadora (não degenerada). Se você quiser examinar a correlação per se, poderá usar o resultado na seção 1 e apenas modificar a função na seção 2 de acordo.

(r, s_{x})

$(r, s_x)$

\sqrt{n}

$\sqrt n$

g

$g$

— Andrew M

@AlecosPapadopoulos: a expressão 2 já é especializada no caso e . Se tudo o que importa é o sinal da associação entre e , só poderia examinar a [1,2] entrada na diferença na equação 1 utilizando fatos sobre a momentos mistos de um normal bivariado para conectar-se ao em função de .

τ^{2} = σ^{2} = 1

$\tau^2 = \sigma^2 = 1$

ρ = .5

$\rho = .5$

s_{x}

$s_x$

r

$r$

K - R (ρ) R (ρ)^{T}

$K - R(\rho)R(\rho)^T$

K

$K$

ρ

$\rho$

— Andrew M

Editar: esta resposta está incorreta. Não tenho certeza se é melhor deixá-lo aqui para o registro ou apenas excluí-lo.

Sim, ele é assintoticamente independente da distribuição de X e Y. Eu estava no caminho certo com a expansão de Taylor:

— meia passagem
fonte

Eu olho para a eq. , segunda linha. Temos um limite de probabilidade menos uma quantidade fixa. Se tivermos consistência, o limite de probabilidade será igual à quantidade fixa. Portanto, a segunda linha da eq. parece ser igual a zero ... o que deveria ser esperado, uma vez que o limite de probabilidade de é igual a . Mas ambos e são constantes, então sua covariância é zero. Parece que o resultado obtido depende criticamente 1) em ignorar o restante Taylor (cujo sinal não sabemos) e (cont)

(2.1)

$(2.1)$

(2.1)

$(2.1)$

Cov (r, s_{x})

$\text{Cov}(r,s_x)$

Cov (ρ, σ_{x})

$\text{Cov}(\rho, \sigma_x)$

ρ

$\rho$

σ_{x}

$\sigma_x$

— Alecos Papadopoulos

(CONTD) ... e 2) na aplicação seletiva da propriedade consistency em determinados termos, mas não em outros. Você tem certeza de que essas são manipulações válidas?

— Alecos Papadopoulos

Obrigado pela resposta. Fiz essa manipulação na segunda linha porque, para RVs gerais U e V, plim E [U] E [V] = plim E [U] plim E [V], dando-me o segundo termo. Mas, para o primeiro termo, plim E [UV]! = Plim E [U] plim E [V]. Portanto, acho que apliquei consistência por toda parte, apenas em etapas diferentes.

— meia-passagem

Mas não tenho certeza ...

— half-pass

Ok - isso é realmente incorreto! No entanto, não acho que seja por causa da primeira manipulação, mas pelo fato de eu ter ignorado que Var (s_Y) -> 0 também, levando a uma tautologia. Infelizmente, não posso rebater minha própria resposta.

— half-pass

Vai depender da distribuição conjunta. Para o exemplo mencionado, a distribuição normal bivariada (média zero) é caracterizada pelo $\rho, \sigma_x, \sigma_y$ . Conclui-se que é possível ter todas as combinações possíveis de valores desses três parâmetros, implicando que nenhuma relação entre $\rho$ e os desvios padrão podem ser estabelecidos.

Para outras distribuições bivariadas, o coeficiente de correlação pode ser fundamentalmente uma função dos desvios padrão (essencialmente ambos serão funções de parâmetros mais primitivos), caso em que se pode examinar se existe uma relação monotônica.

— Alecos Papadopoulos
fonte

Entendo que os três parâmetros podem ter relações arbitrárias para a distribuição do BVN, mas não creio que as estimativas amostrais sejam assintoticamente independentes.

— half-pass