O que é covariância em linguagem simples?

O que é covariância em linguagem simples e como ela está vinculada aos termos estrutura de dependência , correlação e variância-covariância em relação a projetos de medidas repetidas?

A covariância é uma medida de como as alterações em uma variável estão associadas às alterações em uma segunda variável. Especificamente, a covariância mede o grau em que duas variáveis ​​são linearmente associadas. No entanto, também é freqüentemente usado informalmente como uma medida geral de como duas variáveis ​​relacionadas são monotonicamente. Existem muitas explicações intuitivas úteis de covariância aqui .

Sobre como a covariância está relacionada a cada um dos termos que você mencionou:

(1) Correlação é uma versão em escala da covariância que assume valores em com uma correlação de indicando perfeita associação linear e indicando nenhuma relação linear. Essa escala torna a correlação invariável a alterações na escala das variáveis ​​originais (que Akavall aponta e dá um exemplo de +1). A constante de escala é o produto dos desvios padrão das duas variáveis. ± 1 $[-1,1]$$\pm 1$$0$

(2) Se duas variáveis ​​são independentes , sua covariância é . Mas, ter uma covariância de não implica que as variáveis ​​sejam independentes. Esta figura (da Wikipedia)$0$$0$

$\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ $

mostra vários exemplos de gráficos que não são independentes, mas suas covariâncias são . Um caso especial importante é que, se duas variáveis ​​são normalmente distribuídas em conjunto , elas são independentes se e somente se não estiverem correlacionadas . Outro caso especial é que os pares de variáveis ​​bernoulli não são correlacionados se e somente se forem independentes (obrigado @ cardinal).$0$

(3) A estrutura de variância / covariância (geralmente chamada simplesmente de estrutura de covariância ) em projetos de medidas repetidas refere-se à estrutura usada para modelar o fato de que medidas repetidas em indivíduos são potencialmente correlacionadas (e, portanto, são dependentes) - isso é feito modelando o entradas na matriz de covariância das medições repetidas. Um exemplo é a estrutura de correlação trocável com variação constante, que especifica que cada medida repetida tem a mesma variação e todos os pares de medidas são igualmente correlacionados. Uma escolha melhor pode ser especificar uma estrutura de covariância que exija que duas medidas mais distantes no tempo sejam menos correlacionadas (por exemplo,um modelo autoregressivo ). Observe que o termo estrutura de covariância surge mais geralmente em muitos tipos de análises multivariadas, nas quais é permitido correlacionar observações.

A resposta da macro é excelente, mas quero acrescentar mais a um ponto de como a covariância está relacionada à correlação. A covariância não fala sobre a força do relacionamento entre as duas variáveis, enquanto a correlação faz. Por exemplo:

x = [1, 2, 3]
y = [4, 6, 10]

cov(x,y) = 2 #I am using population covariance here

Agora vamos mudar a escala e multiplicar x e y por 10

x = [10, 20, 30]
y = [40, 60, 100]

cov(x, y) = 200

Alterar a escala não deve aumentar a força do relacionamento, para que possamos ajustar dividindo as covariâncias pelos desvios padrão de xey, que é exatamente a definição do coeficiente de correlação.

Nos dois casos acima, o coeficiente de correlação entre x e y é 0.98198.