Você pode explicar o paradoxo de Simpson com equações, em vez de tabelas de contingência?

Provavelmente não tenho uma compreensão clara do paradoxo dos Simpson . Informalmente, sei que a média da resposta Y1, agrupada em todos os níveis possíveis do fator A, pode ser maior que a média da resposta Y2 em todos os níveis de A, mesmo que a média de Y1 para cada nível de A (cada grupo) seja sempre menor que a média correspondente de Y2. Li exemplos, mas ainda me surpreendo cada vez que o vejo, talvez porque não aprendo bem com exemplos específicos: tenho problemas para generalizá-los. Aprendo melhor e prefiro ver uma explicação em fórmulas. Você pode, por favor, explicar o paradoxo que depende de equações, em vez de contar tabelas?

Além disso, acho que o motivo da minha surpresa é que eu poderia inconscientemente fazer algumas suposições sobre as médias envolvidas no paradoxo, o que pode não ser verdade em geral. Talvez eu esqueça do peso pelo número de amostras em cada grupo? Mas então, eu gostaria de ver uma equação que me mostra que a estimativa da média total é mais precisa se eu ponderar cada média de grupo pelo número de amostras em cada grupo, porque (se isso for verdade) não é óbvio para mim em geral. Ingenuamente, eu pensaria que a estimativa de $\mathbf{E}[Y_1]$ tem um erro padrão mais baixo quando eu tenho mais amostras, independentemente da ponderação.

Aqui está uma abordagem geral para entender o Paradoxo de Simpson algebricamente para dados de contagem.

Suponha que tenhamos dados de sobrevivência para uma exposição e criemos uma tabela de contingência 2x2. Para simplificar, teremos as mesmas contagens em cada célula. Poderíamos relaxar isso, mas isso tornaria a álgebra bastante confusa.

$$\begin{array}{|c|c|c|c|} \hline & \text{Died} & \text{Survived} & \text{Death Rate} \\ \hline \text{Exposed} & X & X & 0.5 \\ \hline \text{Unexposed}& X & X & 0.5\\ \hline \end{array}$$

Nesse caso, a taxa de mortalidade é a mesma nos grupos Exposto e Não Exposto.

Agora, se dividirmos os dados, digamos em um grupo para mulheres e outro grupo para homens, obteremos 2 tabelas, com as seguintes contagens:

Homens:

$$\begin{array}{|c|c|c|c|} \hline & \text{Died} & \text{Survived} & \text{Death Rate} \\ \hline \text{Exposed} & Xa & Xb & \frac{a}{a+b} \\ \hline \text{Unexposed}& Xc & Xd & \frac{c}{c+d}\\ \hline \end{array}$$

e para mulheres:

$$\begin{array}{|c|c|c|c|} \hline & \text{Died} & \text{Survived} & \text{Death Rate} \\ \hline \text{Exposed} & X(a-1) & X(b-1) & \frac{a-1}{a+b-2} \\ \hline \text{Unexposed}& X(c-1) & X(d-1) & \frac{c-1}{c+d-2}\\ \hline \end{array}$$

Onde $a,b,c,d \in [0,1]$ são as proporções de cada célula na tabela de dados agregados que são do sexo masculino.

O Paradoxo de Simpson ocorrerá quando a taxa de mortalidade para homens expostos for maior que a taxa de mortalidade para homens não expostos E a taxa de mortalidade para mulheres expostas for maior que a taxa de mortalidade para mulheres não expostas. Como alternativa, também ocorrerá quando a taxa de mortalidade para homens expostos for menor que a taxa de mortalidade para homens não expostos E a taxa de mortalidade para mulheres expostas for menor que a taxa de mortalidade para mulheres não expostas . Ou seja, quando

$$\left(\frac{a}{a+b} < \frac{c}{c+d}\right) \text{ and } \left(\frac{a-1}{a+b-2} < \frac{c-1}{c+d-2}\right)$$

$$\text{Or }$$

$$\left(\frac{a}{a+b} > \frac{c}{c+d}\right) \text{ and } \left(\frac{a-1}{a+b-2} > \frac{c-1}{c+d-2}\right)$$

Como um exemplo concreto, deixe $X=100$ e $a=0.5, b=0.8, c=0.9$ . Então teremos o paradoxo de Simpson quando:

$$\left(\frac{0.5}{0.8+0.9} < \frac{0.9}{0.9+d}\right) \text{ and } \left(\frac{0.5-1}{0.5+0.8-2} < \frac{0.9-1}{0.9+d-2}\right)$$

$$(-9 < d < 1.44) \text{ and } (0.96 < d < 1.1)$$

A partir do qual concluímos que d deve estar $(0.96,1]$

O segundo conjunto de desigualdades fornece:

$$\left(\frac{0.5}{0.8+0.9} > \frac{0.9}{0.9+d}\right) \text{ and } \left(\frac{0.5-1}{0.5+0.8-2} > \frac{0.9-1}{0.9+d-2}\right)$$

$$(d < -0.9 \text{ or } d>1.44) \text{ and } (0.96 < d \text{ or } d > 1.44)$$

que não tem solução para $d \in [0,1]$

Assim, para os três valores que escolhemos para $a,b,$ e $c$ , para invocar o paradoxo de Simpson, $d$ deve ser maior do que 0,96. No caso em que o valor era $0.99$ , obteríamos uma taxa de mortalidade para homens de

$$0.5/ (0.5+0.8) = 38 \text{% in the exposed group}$$ $$0.9/ (0.9+0.99) = 48 \text{% in the unexposed group}$$

e para mulheres:

$$(0.5-1)/ (0.5+0.8-2) = 71 \text{% in the exposed group}$$ $$(0.9-1)/ (0.9+0.99-2) = 91 \text{% in the unexposed group}$$

Portanto, os homens têm uma taxa de mortalidade mais alta no grupo não exposto do que no grupo exposto, e as mulheres também têm uma taxa de mortalidade mais alta no grupo não exposto do que no grupo exposto, mas as taxas de mortalidade nos dados agregados são as mesmas para os expostos e não expostos. .

Suponha que temos dados sobre 2 variáveis, e $x$$y$ , para 2 grupos, A e B.

Os dados do grupo A são tais que a linha de regressão ajustada é

$$y = 11 - x$$

$2$$9$$x$$y$

Os dados do grupo B são tais que a linha de regressão ajustada é

$$y = 25 - x$$

$11$$14$$x$$y$

$x$$-1$ nos dois grupos.

$(2,9)$$(11,14)$$(14-9)/(11-2) = 0.55$$x$$x$$y$

rm(list=ls())
Xa <- c(1,2,3)
Ya <- c(10,9,8)
m0 <- lm(Ya~Xa)
plot(Xa,Ya, xlim=c(0,20), ylim=c(5,20), col="red")
abline(m0, col="red")

Xb <- c(10,11,12)
Yb <- c(15,14,13)
m1 <- lm(Yb~Xb)
points(Xb,Yb, col="blue")
abline(m1, col="blue")

X <- c(Xa,Xb)
Y <- c(Ya,Yb)
m2 <- lm(Y~X)
abline(m2, col="black")

Os pontos vermelhos e a linha de regressão são o grupo A, os pontos azuis e a linha de regressão são o grupo B e a linha preta é a linha de regressão geral.