A meu ver, existem dois problemas básicos nos estudos observacionais que "controlam" várias variáveis independentes. 1) Você tem o problema de perder variáveis explicativas e, assim, modelar a especificação incorreta. 2) Você tem o problema de várias variáveis independentes correlacionadas - um problema que não existe em experimentos (bem) projetados - e o fato de que os coeficientes de regressão e os testes de covariáveis da ANCOVA são baseados em parciais, dificultando sua interpretação. O primeiro é intrínseco à natureza da pesquisa observacional e é abordado no contexto científico e no processo de elaboração competitiva. O último é uma questão de educação e se baseia em uma compreensão clara dos modelos de regressão e ANCOVA e exatamente o que esses coeficientes representam.
Com relação à primeira questão, é fácil demonstrar que, se todas as influências em alguma variável dependente são conhecidas e incluídas em um modelo, os métodos estatísticos de controle são eficazes e produzem boas previsões e estimativas de efeitos para variáveis individuais. O problema nas "ciências moles" é que todas as influências relevantes raramente são incluídas ou mesmo conhecidas e, portanto, os modelos são mal especificados e difíceis de interpretar. No entanto, existem muitos problemas que valem a pena nesses domínios. As respostas simplesmente carecem de certeza. A beleza do processo científico é que ele é autocorretivo e os modelos são questionados, elaborados e refinados. A alternativa é sugerir que não podemos investigar esses problemas cientificamente quando não podemos projetar experimentos.
A segunda questão é uma questão técnica na natureza da ANCOVA e dos modelos de regressão. Os analistas precisam ter clareza sobre o que esses coeficientes e testes representam. As correlações entre as variáveis independentes influenciam os coeficientes de regressão e os testes ANCOVA. São testes de parciais. Esses modelos retiram a variação em uma determinada variável independente e a variável dependente que está associada a todas as outras variáveis no modelo e, em seguida, examinam o relacionamento nesses resíduos. Como resultado, os coeficientes e testes individuais são muito difíceis de interpretar fora do contexto de uma compreensão conceitual clara de todo o conjunto de variáveis incluídas e de suas inter-relações. Isso, no entanto, não produz problemas de previsão - apenas tome cuidado ao interpretar testes e coeficientes específicos.
Uma observação lateral: A última questão está relacionada a um problema discutido anteriormente neste fórum sobre a reversão de sinais de regressão - por exemplo, de negativo para positivo - quando outros preditores são introduzidos em um modelo. Na presença de preditores correlacionados e sem uma compreensão clara das relações múltiplas e complexas entre todo o conjunto de preditores, não há razão para ESPERAR um coeficiente de regressão (por natureza parcial) para ter um sinal específico. Quando existe uma teoria forte e um entendimento claro dessas inter-relações, esse sinal de "reversões" pode ser esclarecedor e teoricamente útil. Embora, dada a complexidade de muitos problemas das ciências sociais, não fosse comum o entendimento suficiente, eu esperaria.
Disclaimer: Sou sociólogo e analista de políticas públicas por treinamento.