Regressão moderada: Por que calculamos um termo * produto * entre os preditores?

12

As análises de regressão moderada são frequentemente usadas nas ciências sociais para avaliar a interação entre dois ou mais preditores / covariáveis.

Normalmente, com duas variáveis preditoras, o seguinte modelo é aplicado:

$Y = β_0 + β_1*X + β_2*M + β_3*XM + e$

Observe que o teste de moderação é operacionalizado pelo termo do produto (a multiplicação entre a variável independente e a variável moderadora ). Minha pergunta fundamental é: por que realmente calculamos um termo de produto entre e ? Por que não, por exemplo, a diferença absoluta ou apenas a soma ? $XM$ $X$ $M$ $X$ $M$ $|M-X|$ $X + M$

Curiosamente, Kenny faz alusão a esta questão aqui http://davidakenny.net/cm/moderation.htm dizendo: "Como será visto, o teste de moderação nem sempre é operacionalizado pelo termo XM do produto", mas nenhuma explicação adicional é fornecida . Uma ilustração ou prova formal seria esclarecedora, eu acho / espero.

regression interaction

— denominador
fonte

12

Um "moderador" afeta os coeficientes de regressão de contra : eles podem mudar à medida que os valores do moderador mudam. Assim, em plena generalidade, o modelo simples de regressão da moderação é $Y$ $X$

E (Y) = α (M) + β (M) X

$\mathbb{E}(Y) = \alpha(M) + \beta(M)X$

onde e são funções do moderador em vez de constantes não afectadas por valores de . $\alpha$ $\beta$ $M$ $M$

No mesmo espírito em que a regressão se baseia em uma aproximação linear da relação entre e , podemos esperar que e sejam - pelo menos aproximadamente - funções lineares de ao longo da faixa de valores de no dados: $X$ $Y$ $\alpha$ $\beta$ $M$ $M$

\begin{aligned} E (Y) & = α_{0} + α_{1} M + O (M^{2}) + (β_{0} + β_{1} M + O (M^{2})) X \\ = α_{0} + β_{0} X + α_{1} M + β_{1} M X + O (M^{2}) + O (M^{2}) X . \end{aligned}

$\eqalign{ \mathbb{E}(Y) &= \alpha_0 + \alpha_1 M + O(M^2) + (\beta_0 + \beta_1 M + O(M^2))X \\ &= \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + O(M^2) + O(M^2)X. }$

Descartar os termos não lineares ("big-O"), na esperança de que sejam pequenos demais para importar, fornece o modelo de interação multiplicativo (bilinear)

\begin{matrix} (1) & E (Y) = α_{0} + β_{0} X + α_{1} M + β_{1} M X . \end{matrix}

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX.\tag{1}$

Essa derivação sugere uma interessante interpretação dos coeficientes: é a taxa na qual altera a interceptação enquanto é a taxa na qual altera a inclinação . ( e são a inclinação e interceptam quando é (formalmente) definido como zero.) $\alpha_1$ $M$ $\beta_1$ $M$ $\alpha_0$ $\beta_0$ $M$ $\beta_1$ é o coeficiente de o "termo de produto" . Responde à pergunta desta maneira: $MX$

Modelamos a moderação com um termo de produto quando esperamos que o moderador tenha (aproximadamente, em média) uma relação linear com a inclinação de $MX$ $M$ $Y$ vs . $X$

Interessante é que essa derivação aponta o caminho para uma extensão natural do modelo, o que pode sugerir maneiras de verificar a qualidade do ajuste. Se você não está preocupado com a não linearidade em conhece ou assume esse modelo $X$ - você é preciso -, você deseja estender o modelo para acomodar os termos que foram descartados: $(1)$

E (Y) = α_{0} + β_{0} X + α_{1} M + β_{1} M X + α_{2} M^{2} + β_{2} M^{2} X .

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + \alpha_2M^2 + \beta_2 M^2X.$

Testar a hipótese avalia a qualidade do ajuste. A estimativa de e pode indicar de que maneira o modelo pode precisar ser estendido: incorporar a não linearidade em (quando ) ou uma relação moderadora mais complicada (quando ) ou possivelmente ambos. (Observe que este teste não seria sugerido pela expansão de uma série de potências de uma função genérica $\alpha_2=\beta_2=0$ $\alpha_2$ $\beta_2$ $(1)$ $M$ $\alpha_2 \ne 0$ $\beta_2 \ne 0$ .) $f(X,M)$

Por fim, se você descobrir que o coeficiente de interação não é significativamente diferente de zero, mas que o ajuste é não linear (como evidenciado por um valor significativo de ), você conclui (a) que há moderação, mas ( b) não é modelado por um termo , mas por alguns termos de ordem superior começando com $\beta_1$ $\beta_2$ $MX$ $M^2X$ . Esse pode ser o tipo de fenômeno ao qual Kenny estava se referindo.

— whuber
fonte

8

Se você usar a soma dos preditores para modelar a interação deles, sua equação seria:

\begin{array}{rcl} Y & = & β_{0} + β_{1} X + β_{2} M + β_{3} (X + M) + e \\ = & β_{0} + β_{1} X + β_{2} M + β_{3} X + β_{3} M + e \\ = & β_{0} + (β_{1} + β_{3}) X + (β_{2} + β_{3}) M + e \\ = & β_{0} + β_{1}^{'} X + β_{2}^{'} M + e \end{array}

$\begin{eqnarray} Y &=& \beta_0 + \beta_1X + \beta_2M + \beta_3(X + M) + e\\ &=& \beta_0 + \beta_1X + \beta_2M + \beta_3X + \beta_3M + e\\ &=& \beta_0 + (\beta_1 + \beta_3)X + (\beta_2 + \beta_3)M + e \\ &=& \beta_0 + \beta_1'X + \beta_2'M + e \end{eqnarray}$

onde e . Portanto, seu modelo não teria nenhuma interação. Claramente, este não é o caso do produto. $\beta_1'=\beta_1+\beta_3$ $\beta_2'=\beta_2+\beta_3$

Lembre-se da definição do valor absoluto:

| X - M | = {\begin{cases} X - M, & X \geq M \\ M - X, & X < M \end{cases}

$|X-M| = \begin{cases} X-M, & X \geq M\\ M-X, & X < M \end{cases}$

Embora você possa reduzir o modelo àquele com apenas termos e , usando o def. de , o valor absoluto é uma "forma especializada de moderação que dificilmente será realista em muitas situações", conforme apontado no comentário abaixo. $\beta_0 + \beta_1X + \beta_2M + \beta_3|X-M| + e$ $X$ $M$ $|X-M|$

— Milos
fonte

1

Na verdade, incluindo um

o termo é comprovadamente uma forma de moderação: o valor de

muda

. É, no entanto, uma forma limitada e especializada de moderação que dificilmente será realista em muitas situações. Não é correto dizer que esse modelo tem "apenas efeitos principais".

| X - M |

$|X-M|$

M

$M$

β_{2}

$\beta_2$

— whuber

1

Sim, você está certo,

é uma forma de moderação, me empolguei com a transformação e editarei a resposta de acordo. Obrigado por apontar isso.

| X - M |

$|X-M|$

— Milos

@Milos: Seu exemplo sobre a soma de preditores foi algo que abriu os olhos, um tanto embaraçoso, devo dizer, porque eu já deveria ter percebido as implicações matemáticas;) whuber: Pelo que entendi, o valor absoluto só é útil quando as duas variáveis preditoras são medidas nas mesmas unidades (por exemplo, dois testes psicométricos, usando a mesma métrica, como escores z ou escores T). A diferença absoluta entre X e M é uma métrica útil , embora não seja a única possível (ou seja, o termo prodcut também pode ser usado).

— denominador

6

$f(X,M)$

f (X, M) = f (0, 0) + \frac{\partial f (0, 0)}{\partial T} T + \frac{\partial f (0, 0)}{\partial M} M + \frac{\partial^{2} f (0, 0)}{\partial T \partial M} T M + \frac{\partial^{2} f (0, 0)}{2 \partial T^{2}} T^{2} + \frac{\partial^{2} f (0, 0)}{2 \partial M^{2}} M^{2} \dots

$f(X,M)=f(0,0)+\frac{\partial f(0,0)}{\partial T} T+\frac{\partial f(0,0)}{\partial M} M+\frac{\partial^2 f(0,0)}{\partial T\partial M} TM +\frac{\partial^2 f(0,0)}{2\partial T^2} T^2 +\frac{\partial^2 f(0,0)}{2\partial M^2} M^2\dots$

If you plug a function of this form $f(X,M)=\beta_0+\beta_XX+\beta_MM+\beta_{XM}XM$ into the Taylor equation, you get this:

f (X, M) = β_{0} + β_{X} X + β_{M} M + β_{X M} X M

$f(X,M)=\beta_0+\beta_XX +\beta_MM +\beta_{XM}XM$

So, the rationale here is that this particular multiplicative form of the moderation is basically a second order Taylor approximation of a generic moderation relationship $f(X,M)$

UPDATE: if you include quadratic terms, as @whuber suggested then this will happen:

g (X, M) = b_{0} + b_{X} X + b_{M} M + b_{X M} X M + b_{X 2} X^{2} + b_{M 2} M^{2}

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM+b_{X2}X^2 +b_{M2}M^2$ plug this into Taylor:

g (X, M) = b_{0} + b_{X} X + b_{M} M + b_{X M} X M + b_{X 2} X^{2} + b_{M 2} M^{2}

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM +b_{X2}X^2 +b_{M2}M^2$

This shows that our new model $g(X,M)$ with quadratic terms corresponds to a full second order Taylor approximation, unlike the original moderation model $f(X,M)$ .

— Aksakal
fonte

Since the basis of your argument is the Taylor expansion, why did you not also include the other two quadratic terms

X^{2}

$X^2$ and

M^{2}

$M^2$ ? True, they are not forms of moderation, but their inclusion in the model usually will affect $\beta_{XM}$ .

— whuber

@whuber, I decided to keep the post short - that's the main reason. Otherwise, I started writing about my preference to include second order terms whenever you have a cross term, then cut it out.

— Aksakal