Não transitividade da correlação: correlações entre sexo e tamanho do cérebro e entre tamanho do cérebro e QI, mas sem correlação entre gênero e QI

18

Encontrei uma explicação a seguir em um blog e gostaria de obter mais informações sobre a não transitividade da correlação:

Temos os seguintes fatos indiscutíveis:

Em média, há uma diferença no volume cerebral entre homens e mulheres

Existe uma correlação entre QI e tamanho do cérebro; a correlação é de 0,33 e, portanto, corresponde a 10% da variabilidade do QI

Destas premissas 1 e 2, parece resultar logicamente disso: as mulheres têm, em média, um QI mais baixo que os homens. Mas é uma falácia! Nas estatísticas, as correlações não são transitivas. A prova é que você só precisa observar os resultados dos testes de QI, e eles mostram que o QI de homens e mulheres não difere, em média.

Eu gostaria de entender um pouco mais essa não transitividade da correlação.

Se a correlação entre o QI e o tamanho do cérebro fosse de 0,9 (o que eu sei que não é (1)), deduzir que as mulheres têm, em média, um QI menor do que os homens ainda seria uma falácia?

Por favor, não estou aqui para falar sobre QI (e os limites do teste), sexismo, estereótipo de mulher, arrogância e assim por diante (2). Eu só quero entender o raciocínio lógico por trás da falácia.

(1) o que eu sei que não é: os neandertais tinham cérebros maiores que o homo sapiens, mas não eram mais inteligentes;

(2) Eu sou uma mulher e, no geral, não me considero, ou as outras mulheres, menos inteligentes que os homens, não me importo com o teste de QI, porque o que conta é o valor das pessoas e não se baseia no habilidades intelectuais.

A fonte original em francês:

Em um les faits indiscutables suivants:

você tem uma diferença de volume intermediária em homens e mulheres?

você é uma correlação entre QI e volume central; a correção é de 0,33 e corresponde a 10% da variabilidade

Dos prêmios 1 e 2, a menor quantidade de logotipos que: as mulheres são afetadas por um membro da QI infantil.

Mais c'est une erreur de raisonnement! Em estatística, as correções não são passivas. No caso anterior, o que derramar no líquido da rede, é suficiente considerar os resultados dos testes de QI e controlar o fluxo de QI dos homens e das mulheres nos diferentes países da Europa.

insira a descrição da imagem aqui

— MagTun
fonte

5

Não entendo como essas afirmações têm alguma relação com a correlação (e referir-se a "transitividade" parece totalmente inapropriado nesse contexto). A conclusão, afinal, tem a ver com uma diferença média. Essa estatística (que é o primeiro momento) é totalmente independente da correlação (que é derivada do segundo momento). Mesmo quando a correlação é perfeita

não se pode tirar nenhuma conclusão sobre a diferença de médias da segunda variável com base na diferença de médias da primeira variável.

\pm 1

$\pm 1$

— whuber

5

Pode-se mostrar (Langford, Schwertman e Owens (2001)) que a correlação positiva é transitiva se a soma das correlações ao quadrado for maior que 1:

ρ_{X Y}^{2} + ρ_{Y X}^{2} > 1 ⟹ ρ_{X Z} > 0

$\rho_{XY}^2+\rho_{YX}^2 >1 \implies \rho_{XZ}>0$

— CloseToC

2

@ whuber: Sim, mas esta não é uma questão sobre a relação entre as médias de X e Y (tamanho do cérebro e QI), é a questão sobre a relação entre as médias de Y em dois grupos diferentes ... Eu acho que é óbvio se a correlação entre o tamanho do cérebro e o QI é perfeita (ou seja, o QI é uma função linear do tamanho do cérebro) e se o tamanho médio do cérebro difere entre homens e mulheres, então o QI médio difere entre homens e mulheres.

— ameba diz Restabelecer Monica

2

@Amoeba Obrigado por essa interpretação. A cotação começa a fazer sentido (finalmente!). Mas referir-se a isso como "transitividade da correlação" é tão obscuro que pode ser francamente enganador. (A frase existe no francês original, por isso não podemos culpar a tradução.)

— whuber

3

@amoeba Isso é plausível. Mas acho que você está tendo que esticar um pouco as coisas para chegar lá! A citação não caracteriza a relação entre gênero e tamanho do cérebro como uma "correlação" - apenas como uma diferença nas médias entre os dois grupos (que não é uma medida padrão de correlação, aliás). Mas acho que devemos entender "correlação" em um sentido amplo como "falta de dependência" ou algo assim.

— whuber

16

Sim, ainda seria uma falácia.

Aqui está uma figura muito simples, mostrando quatro situações diferentes. Em cada caso, pontos vermelhos representam mulheres, pontos azuis representam homens, o eixo horizontal representa o tamanho do cérebro e o eixo vertical representa o QI. Gerei todos os quatro conjuntos de dados de modo que:

sempre há a mesma diferença no tamanho médio do cérebro entre homens ( ) e mulheres ( unidades são arbitrárias). Essas são médias populacionais, mas essa diferença é grande o suficiente para ser estatisticamente significativa com qualquer tamanho de amostra razoável; $22$ $28$
sempre há diferença zero no QI médio entre homens e mulheres (ambos ) e também correlação zero entre gênero e QI; $100$
a força da correlação entre o tamanho do cérebro e o QI varia conforme mostrado na figura.

correlações

Na subparcela superior esquerda, a correlação dentro do sexo (calculada separadamente por homens e separadamente por mulheres e, em seguida, calculada a média) é , como em sua citação. Na subtrama superior direita, a correlação geral (entre homens e mulheres juntos) é de . Observe que sua cotação não especifica a que o número de se refere. Na subparcela inferior esquerda, a correlação dentro do sexo é de , como no seu exemplo hipotético; na subtrama inferior direita, a correlação geral é de . $0.3$ $0.3$ $0.33$ $0.9$ $0.9$

Portanto, você pode ter qualquer valor de correlação e não importa se é calculado globalmente ou dentro do grupo. Qualquer que seja o coeficiente de correlação, é muito possível que não haja correlação zero entre gênero e QI e diferença de gênero zero no QI médio.

Explorando a não transitividade

Vamos explorar todo o espaço de possibilidades, seguindo a abordagem sugerida por @kjetil. Suponha que você tenha três variáveis e (sem perda de generalidade) suponha que a correlação entre e seja e a correlação entre e seja . A questão é: qual é o valor positivo possível mínimo da correlação entre e $x_1, x_2, x_3$ $x_1$ $x_2$ $a>0$ $x_2$ $x_3$ $b>0$ $\lambda$ $x_1$ $x_3$ ? Às vezes tem que ser positivo ou sempre pode ser zero?

A matriz de correlação é e deve ter um determinante não negativo, ou seja, o que significa que deve estar entre

R = (\begin{matrix} 1 & a & λ \\ a & 1 & b \\ λ & b & 1 \end{matrix})

$\mathbf R = \left( \begin{array}{} 1&a&\lambda \\ a&1&b \\ \lambda &b&1 \end{array}\right)$

d e t R = - λ^{2} + 2 a b λ - (a^{2} + b^{2} - 1) \geq 0,

$\mathrm{det} \mathbf R = -\lambda^2 + 2ab\lambda - ( a^2+b^2-1) \ge 0,$

λ

$\lambda$

Se ambas as raízes são positivas, o valor mínimo possível de

é igual à raiz menor (e

deve ser positivo!). Se o zero estiver entre essas duas raízes,

poderá ser zero.

a b \pm \sqrt{(1 - a^{2}) (1 - b^{2})} .

$ab \pm \sqrt{(1-a^2)(1-b^2)}.$

λ

$\lambda$

λ

$\lambda$

λ

$\lambda$

Podemos resolver este numericamente e traçar o mínimo possível valor positivo de para diferentes e : $\lambda$ $a$ $b$

Explorando a não transitividade

Informalmente, podemos dizer que as correlações seria transitivo se dado que e , pode-se concluir que . Vemos que para a maioria dos valores de e , pode ser zero, o que significa que as correlações são não-transitiva. No entanto, para alguns valores suficientemente elevados de e , correlação tem que ser positivo , o que significa que há "um certo grau de transitivity" depois de tudo, mas restringida apenas correlações muito altas. Note-se que ambas as correlações e $a>0$ $b>0$ $\lambda>0$ $a$ $b$ $\lambda$ $a$ $b$ $\lambda$ $a$ $b$ tem que ser alto.

Podemos elaborar uma condição precisa para essa "transitividade": como mencionado acima, a raiz menor deve ser positiva, ou seja, , o que é equivalente a. Esta é uma equação de um círculo! E, de fato, se você olhar para a figura acima, notará que a região azul forma um quarto de círculo. $ab - \sqrt{(1-a^2)(1-b^2)}>0$ $a^2+b^2>1$

No seu exemplo específico, a correlação entre sexo e tamanho do cérebro é bastante moderada (talvez ) e a correlação entre tamanho do cérebro e QI é , o que está firmemente dentro da região azul ( ), o que significa que pode ser positivo, negativo ou zero. $a=0.5$ $b=0.33$ $a^2+b^2<1$ $\lambda$

Figura relevante do estudo original

Você queria evitar discutir gênero e cérebro, mas não posso deixar de apontar que, olhando para a figura completa do artigo original ( Gur et al. 1999 ), pode-se ver que, embora não haja diferença de gênero no escore de QI verbal, há uma diferença óbvia e significativa no escore de QI espacial! Compare as subparcelas D e F.

Gur et al.

— ameba diz Restabelecer Monica
fonte

2

Eu amo aqueles enredos que você gerou. Os do papel, não tanto ...

— shadowtalker

1

@AleksandrBlekh: Para dizer a verdade, não tenho certeza. "Mapa de calor"? "Gráfico de contorno", mas colorido e sem contornos?

— Ameba diz Reinstate Monica

2

| λ |

$|\lambda|$

λ

$\lambda$

1

x

$x$

y

$y$

y

$y$

z

$z$

x

$x$

z

$z$

a

$a$

b

$b$

\geq 0

$\ge 0$

λ \geq 0

$\lambda \ge 0$

1

Obrigado ameba por esta resposta longa e detalhada (e até adicionada de forma extra, muito bem-vinda pelo caminho)! Isso torna as coisas bem claras! O conceito é tão difícil de entender para o meu cérebro estatisticamente destreinado e você sombreava a luz do problema! Muito obrigado pelo tempo que levou para postar sua resposta!

— precisa saber é

8

$x_1=\text{IQ}, x_2=\text{gender}$ $x_3$

cor (x_{1}, x_{2}) = λ, cor (x_{1}, x_{3}) = cor (x_{2}, x_{3}) = ρ = 0.9

$\text{cor}(x_1, x_2)=\lambda, \\ \text{cor}(x_1,x_3)=\text{cor}(x_2, x_3)=\rho=0.9$

λ

$\lambda$

R = (\begin{matrix} 1 & λ & ρ \\ λ & 1 & ρ \\ ρ & ρ & 1 \end{matrix})

$R=\begin{pmatrix} 1 & \lambda & \rho \\ \lambda & 1 & \rho \\ \rho & \rho & 1 \end{pmatrix}$

ρ

$\rho$

det R = 1 \cdot (1 - ρ^{2}) - λ \cdot (λ - ρ^{2}) + ρ \cdot (λ ρ - ρ) = 1 - λ^{2} - 2 ρ^{2} + 2 λ ρ^{2} \geq 0,

$\det R = 1\cdot (1-\rho^2) - \lambda \cdot (\lambda-\rho^2) + \rho \cdot (\lambda \rho - \rho) \\ = 1-\lambda^2 -2\rho^2 + 2\lambda \rho^2 \ge 0,$

ρ^{2} \leq \frac{λ + 1}{2}

$\rho^2 \le \frac{\lambda+1}{2}$

ρ = 0.9

$\rho=0.9$

λ \geq 0.62

$\lambda \ge 0.62$

Atualizar:

$p=0.5$ $\mu_1 = \text{E}(x_1 | x_2=1)$ $\mu_0 = \text{E}(x_1 | x_2=0)$ $\mu=\text{E}(x_1)$ $\mu=0=\mu_1+\mu_0$ $\mu_0 = -\mu_1$ $x_1 \sim \text{N}(\mu=0, \sigma^2)$ $x_2$ $p=1/2$

corr (x_{1}, x_{2}) = \frac{E (x_{1} - μ) E (x_{2} - p)}{σ \cdot \frac{1}{2}} = \frac{Δ}{2 σ}

$\text{corr}(x_1, x_2) = \frac{\text{E}(x_1-\mu)\text{E}(x_2-p)}{\sigma \cdot \frac12} \\ = \frac{\Delta}{2\sigma}$

Δ = μ_{1} - μ_{0} = 2 μ_{1}

$\Delta = \mu_1 - \mu_0 = 2\mu_1$

σ = 10

$\sigma=10$

Δ / 20

$\Delta/20$ as informações sobre a diferença média de QI estão erradas! Isso seria verdade se o gênero fosse uma variável contínua, o que obviamente não é. Observe que esse fato está relacionado ao fato de que, para a distribuição binomial, a variação é uma função da média (como deve ser, pois existe apenas um parâmetro livre para variar). O que fizemos acima é realmente estendendo isso para covariância / correlação.

$\rho=0.33$ $\lambda \ge -0.7822$ $\lambda=0$

— kjetil b halvorsen
fonte

1

c o r (x_{1}, x_{2}) \geq 0.62

$\mathrm{cor}(x_1, x_2)\ge 0.62$

E (x_{1}) \geq E (x_{2})

$E(x_1)\geq E(x_2)$

5

+1 - Mas acho o conceito da correlação entre QI de homens e mulheres um tanto confuso, pois você nunca poderia calcular esse valor.

— Andy W

1

Qual é a correlação entre QI de homens e mulheres?

— Ameba diz Reinstate Monica

sim, está certo @amoeba! Talvez eu não tenha usado as palavras corretas para expressar minha confusão (é difícil porque não estou acostumado a estatísticas), mas as variáveis são de fato sexo, QI e tamanho do cérebro.

— precisa saber é

7

É uma situação em que gosto de usar diagramas de caminhos para ilustrar efeitos diretos e indiretos , e como esses dois afetam as correlações gerais.

Pela descrição original, temos uma matriz de correlação abaixo. O tamanho do cérebro tem uma correlação de 0,3 com o QI, o feminino e o QI têm uma correlação 0 entre si. Eu preencheu a correlação negativa entre o tamanho feminino e o cérebro como -0,3 (se eu tivesse que adivinhar que é muito menor que isso, mas isso servirá para fins ilustrativos).

       Brain  Female  IQ
 Brain   1
Female  -0.3    1
    IQ   0.3    0      1

Se ajustarmos um modelo de regressão em que o QI é uma função do tamanho do cérebro e do sexo feminino, podemos ilustrar isso em termos de um diagrama de caminho. Preenchi os coeficientes de regressão parcial nas setas, e o nó B significa tamanho do cérebro e o nó F significa feminino.

insira a descrição da imagem aqui

Agora, quão louco é isso - ao controlar o tamanho do cérebro, dadas essas correlações, as mulheres têm uma relação positiva com o QI. Por que isso, quando a correlação marginal é zero? Por regras com diagramas de caminho lineares ( Wright, 1934 ), podemos decompor a correlação marginal em função do efeito direto ao controlar o tamanho do cérebro e o efeito indireto:

{Total}_{F, IQ} = {Direct}_{F, IQ} + {Indirect}_{F, B, IQ}

$\text{Total}_{\text{F},\text{IQ}} = \text{Direct}_{\text{F},\text{IQ}} + \text{Indirect}_{\text{F},\text{B},\text{IQ}}$

$\text{Total}_{\text{F},\text{IQ}} = \text{Cor}(\text{F},\text{IQ})$

\begin{aligned} {Indirect}_{F, B, IQ} & = Cor (F, B) \cdot Cor (B, IQ | F) \\ - 0.099 & = - 0.3 \cdot 0.33 \end{aligned}

$\begin{align} \text{Indirect}_{\text{F},\text{B},\text{IQ}} &= \text{Cor}(\text{F},\text{B}) \cdot \text{Cor}(\text{B},\text{IQ}|\text{F}) \\ -0.099 &= -0.3 \cdot 0.33 \end{align}$

Como o efeito total é zero, sabemos que o efeito direto deve ser simplesmente o sinal oposto exato e o tamanho do efeito indireto ; portanto, o efeito direto é igual a 0,099 neste exemplo. Agora, aqui temos uma situação ao avaliar o QI esperado das mulheres, obtemos duas respostas diferentes, embora provavelmente não seja o que você esperava inicialmente ao especificar a pergunta. Ao simplesmente avaliar o QI marginal esperado de mulheres versus homens, a diferença é zero como você a definiu (por ter uma correlação zero). Ao avaliar a diferença esperada condicional ao tamanho do cérebro, as mulheres têm um QI maior que os homens.

Você pode inserir neste exemplo correlações maiores entre tamanho do cérebro e QI (ou correlações menores entre tamanho feminino e cerebral), considerando os limites que o kjetil mostra em sua resposta. Aumentar o primeiro aumenta ainda mais a disparidade entre o QI condicional de mulheres e homens em favor das mulheres, diminuindo o segundo diminui as diferenças.

— Andy W
fonte

Se você observar a figura fornecida, ela mostra uma correlação positiva (e mais forte que a dos homens) do volume cerebral das mulheres com o QI.

— Alecos Papadopoulos

1

@ Andy W Estou totalmente envergonhado de fazer essa pergunta boba, mas qual software você usou para desenhar o gráfico de nós?

— Mugen

1

Foi um trabalho rápido no inkscape @mugen. Levando mais tempo, acho que as que eu faço usando Látex e Tikz são melhores.

— Andy W

+1 Você poderia me indicar uma teoria por trás de sua segunda fórmula?

— Aleksandr Blekh

2

@AleksandrBlekh - o artigo de Wright que cito é a fonte seminal. Judea Pearl faz comentários mais extensos em seu livro Causality , embora haja tratamentos mais simples. (Para modelos lineares as decomposições muitas vezes são dadas tratamento superficial nos livros de modelagem de equações estruturais.)

— Andy W

3

$v$ $q$ $1$ $2$

\begin{matrix} (1) & E (v_{1}) > E (v_{2}) = β E (v_{1}), 0 < β < 1, ρ (v_{1}, q_{1}) > 0, ρ (v_{2}, q_{2}) > 0 \end{matrix}

$E(v_1) > E(v_2) = \beta E(v_1), 0< \beta <1, \;\; \rho(v_1,q_1) >0, \;\; \rho(v_2,q_2)>0 \tag{1}$

Observe que, embora o texto citado fale sobre "correlação entre volume cerebral e QI" em geral, a imagem fornecida faz uma distinção com as duas linhas de tendência (ou seja, mostra a correlação para os dois subgrupos separadamente). Portanto, nós os consideramos separadamente (que é o caminho correto a seguir).

Então

ρ (v_{1}, q_{1}) > 0 \Rightarrow C o v (v_{1}, q_{1}) > 0 \Rightarrow E (v_{1} q_{1}) > E (v_{1}) E (q_{1})

$\rho(v_1,q_1) >0 \Rightarrow {\rm Cov}(v_1,q_1)>0 \Rightarrow E(v_1q_1) > E(v_1)E(q_1)$

\begin{matrix} (2) & \Rightarrow \frac{E (v_{1} q_{1})}{E (q_{1})} > E (v_{1}) \end{matrix}

$\Rightarrow \frac {E(v_1q_1)}{E(q_1)} > E(v_1) \tag{2}$

e

ρ (v_{2}, q_{2}) > 0 \Rightarrow C o v (v_{2}, q_{2}) > 0 \Rightarrow E (v_{2} q_{2}) > E (v_{2}) E (q_{2})

$\rho(v_2,q_2) >0 \Rightarrow {\rm Cov}(v_2,q_2)>0 \Rightarrow E(v_2q_2) > E(v_2)E(q_2)$

\begin{matrix} (3) & \Rightarrow \frac{E (v_{2} q_{2})}{β E (q_{2})} > E (v_{1}) \end{matrix}

$\Rightarrow \frac {E(v_2q_2)}{\beta E(q_2)} > E(v_1) \tag{3}$

$E(q_1) > E(q_2)$

$E(q_1) = E(q_2) = \bar q \tag {4}$

Então deve ser o caso que

\begin{matrix} (5) & (2), (4) \Rightarrow \frac{E (v_{1} q_{1})}{\bar{q}} > E (v_{1}) \end{matrix}

$(2),(4) \Rightarrow \frac {E(v_1q_1)}{\bar q} > E(v_1) \tag{5}$

e essa

\begin{matrix} (6) & (3), (4) \Rightarrow \frac{E (v_{2} q_{2})}{β \bar{q}} > E (v_{1}) \end{matrix}

$(3),(4) \Rightarrow \frac {E(v_2q_2)}{\beta \bar q} > E(v_1) \tag{6}$

$(5)$ $(6)$
$(1)$

$(1)$ $E(q_1)$ $E(q_2)$ $(1)$

— Alecos Papadopoulos
fonte

2

Apesar de todos os cálculos mostrados aqui, ainda não vejo como a correlação revela alguma coisa (ou impõe quaisquer restrições) relativa às relações entre valores médios .

— whuber

@whuber A resposta toda é sobre mostrar que não. As últimas frases dizem exatamente isso. Vamos adicionar mais um para esse efeito.

— Alecos Papadopoulos

Mas isso é absolutamente básico: não é necessário uma página inteira de equações para mostrá-lo! Basta observar que os coeficientes de correlação são QED invariantes à localização . Estou interpretando mal a pergunta?

— whuber

1

@whuber Com todo o respeito e sem ofensa para ninguém, mas temo que você esteja "interpretando mal" o nível de conhecimento do OP. Caso contrário, a pergunta não teria sido publicada.

— Alecos Papadopoulos

4

Gostaria de encorajá-lo, então, a refletir sobre se e como qualquer resposta que depende muito de equações matemáticas é apropriada para abordar pôsteres que parecem estar pedindo exposições elementares de conceitos básicos. Essa é uma questão sutil, porque às vezes essa é exatamente a abordagem correta. Além disso, o grau em que se usa matemática - e como se expõe as idéias matemáticas - pode ser uma questão de gosto. Mas IMHO esse tipo de resposta é eficaz apenas quando a matemática é clara e consistentemente focada em uma idéia essencial.

— whuber