Coeficientes de regressão que invertem o sinal após incluir outros preditores

Imagine

• Você executa uma regressão linear com quatro preditores numéricos (IV1, ..., IV4)
• Quando apenas IV1 é incluído como preditor, o beta padronizado é +.20
• Quando você também inclui IV2 a IV4, o sinal do coeficiente de regressão padronizado de IV1 muda para -.25(isto é, tornou-se negativo).

Isso gera algumas perguntas:

• Com relação à terminologia, você chama isso de "efeito supressor"?
• Quais estratégias você usaria para explicar e entender esse efeito?
• Você tem algum exemplo de tais efeitos na prática e como você explicou e entendeu esses efeitos?

A multicolinearidade é o suspeito usual, como JoFrhwld mencionou. Basicamente, se suas variáveis ​​estiverem correlacionadas positivamente, os coeficientes serão correlacionados negativamente, o que pode levar a um sinal errado em um dos coeficientes.

Uma verificação seria executar uma regressão de componentes principais ou regressão de crista. Isso reduz a dimensionalidade do espaço de regressão, manipulando a multicolinearidade. Você acaba com estimativas tendenciosas, mas um MSE possivelmente mais baixo e sinais corrigidos. Se você acompanha esses resultados específicos ou não, é uma boa verificação de diagnóstico. Se você ainda receber alterações de sinal, pode ser teoricamente interessante.

ATUALIZAR

Após o comentário na resposta de John Christie, isso pode ser interessante. A reversão na associação (magnitude ou direção) são exemplos dos efeitos de Paradoxo de Simpson, Paradoxo de Lord e Supressão. As diferenças estão essencialmente relacionadas ao tipo de variável. É mais útil entender o fenômeno subjacente do que pensar em termos de um "paradoxo" ou efeito específico. Para uma perspectiva causal, o artigo abaixo explica bem o porquê e cito detalhadamente sua introdução e conclusão para estimular seu apetite.

• O papel do raciocínio causal na compreensão do paradoxo de Simpson, do paradoxo de Lord e do efeito de supressão: seleção covariável na análise de estudos observacionais

Tu et al apresentam uma análise da equivalência de três paradoxos, concluindo que todos os três simplesmente reiteram a mudança surpreendente na associação de duas variáveis ​​quando uma terceira variável é estatisticamente controlada. Chamo isso de surpreendente, porque reversão ou mudança de magnitude é comum na análise condicional. Para evitar qualquer um deles, devemos evitar a análise condicional por completo. O que há nos paradoxos de Simpson e Lord ou no efeito de supressão, além de apontarem o óbvio, que atrai os interesses intermitentes e às vezes alarmistas vistos na literatura?

[...]

Em conclusão, não se pode enfatizar excessivamente que, embora os paradoxos de Simpson e seus correlatos revelem os perigos do uso de critérios estatísticos para guiar a análise causal, eles não mantêm nem as explicações do fenômeno que pretendem representar nem os indicadores de como evitá-los. As explicações e soluções estão no raciocínio causal, que se baseia no conhecimento prévio, não em critérios estatísticos. Já é tempo de pararmos de tratar sinais e sintomas mal interpretados ('paradoxos') e começarmos a lidar com a doença ('causalidade'). Devemos, com razão, voltar nossa atenção para o problema perene da seleção covariada para análise causal usando dados não experimentais.

Acredito que efeitos como esses são freqüentemente causados ​​por colinearidade (veja esta pergunta ). Eu acho que o livro sobre modelagem multinível de Gelman e Hill fala sobre isso. O problema é que IV1está correlacionado com um ou mais dos outros preditores e, quando todos são incluídos no modelo, sua estimativa se torna irregular.

Se o inversão do coeficiente é devido à colinearidade, não é realmente interessante relatar, porque não é devido à relação entre seus preditores e o resultado, mas realmente devido à relação entre preditores.

O que vi sugerido para resolver esse problema é a residualização. Primeiro, você ajusta um modelo e IV2 ~ IV1, em seguida, toma os resíduos desse modelo como rIV2. Se todas as suas variáveis ​​estiverem correlacionadas, você deve realmente residualizar todas elas. Você pode optar por fazer isso assim

rIV2 <- resid(IV2 ~ IV1)
rIV3 <- resid(IV3 ~ IV1 + rIV2)
rIV4 <- resid(IV4 ~ IV1 + rIV2 + rIV3)

Agora, ajuste o modelo final com

DV ~ IV1 + rIV2 + rIV3 + rIV4

Agora, o coeficiente para rIV2representa o efeito independente de IV2dada sua correlação com IV1. Ouvi dizer que você não obterá o mesmo resultado se você se restabelecer em uma ordem diferente, e que escolher a ordem de residualização é realmente um julgamento na sua pesquisa.

Veja Paradoxo de Simpson . Em resumo, o principal efeito observado pode reverter quando uma interação é adicionada a um modelo. Na página vinculada, a maioria dos exemplos é categórica, mas há uma figura no topo da página que se poderia imaginar continuamente. Por exemplo, se você tiver um preditor categórico e contínuo, o preditor contínuo poderá virar facilmente o sinal se o categórico for adicionado e, em cada categoria, o sinal for diferente do da pontuação geral.