Encontrei um texto muito bom sobre Bayes / MCMC. A TI sugere que uma padronização de suas variáveis ​​independentes tornará um algoritmo MCMC (Metropolis) mais eficiente, mas também poderá reduzir a (multi) colinearidade. Isso pode ser verdade? Isso é algo que eu deveria fazer como padrão (desculpe).

Kruschke 2011, Doing Bayesian Data Analysis. (AP)

edit: por exemplo

     > data(longley)
     > cor.test(longley$Unemployed, longley$Armed.Forces)

Pearson's product-moment correlation

     data:  longley$Unemployed and longley$Armed.Forces 
     t = -0.6745, df = 14, p-value = 0.5109
     alternative hypothesis: true correlation is not equal to 0 
     95 percent confidence interval:
     -0.6187113  0.3489766 
     sample estimates:
      cor 
     -0.1774206 

     > standardise <- function(x) {(x-mean(x))/sd(x)}
     > cor.test(standardise(longley$Unemployed), standardise(longley$Armed.Forces))

Pearson's product-moment correlation

     data:  standardise(longley$Unemployed) and standardise(longley$Armed.Forces) 
     t = -0.6745, df = 14, p-value = 0.5109
      alternative hypothesis: true correlation is not equal to 0 
     95 percent confidence interval:
      -0.6187113  0.3489766 
      sample estimates:
       cor 
     -0.1774206 

Isso não reduziu a correlação ou, portanto, a dependência linear, embora limitada, de vetores.

O que está acontecendo?

R

Não altera a colinearidade entre os principais efeitos. A escala também não. Qualquer transformação linear não fará isso. O que muda é a correlação entre os principais efeitos e suas interações. Mesmo que A e B sejam independentes com uma correlação de 0, a correlação entre A e A: B dependerá dos fatores de escala.

Tente o seguinte em um console R. Observe que rnormapenas gera amostras aleatórias a partir de uma distribuição normal com valores populacionais definidos, neste caso 50 amostras. A scalefunção padroniza a amostra para uma média de 0 e DP de 1.

set.seed(1) # the samples will be controlled by setting the seed - you can try others
a <- rnorm(50, mean = 0, sd = 1)
b <- rnorm(50, mean = 0, sd = 1)
mean(a); mean(b)
# [1] 0.1004483 # not the population mean, just a sample
# [1] 0.1173265
cor(a ,b)
# [1] -0.03908718

A correlação incidental é próxima de 0 para essas amostras independentes. Agora normalize com média de 0 e DP de 1.

a <- scale( a )
b <- scale( b )
cor(a, b)
# [1,] -0.03908718

Novamente, esse é exatamente o mesmo valor, embora a média seja 0 e DP = 1 para ambos ae b.

cor(a, a*b)
# [1,] -0.01038144

Também é muito próximo de 0. (a * b pode ser considerado o termo de interação)

No entanto, geralmente o DP e a média dos preditores diferem bastante, então vamos mudar b. Em vez de coletar uma nova amostra, redimensionarei o original bpara ter uma média de 5 e DP de 2.

b <- b * 2 + 5
cor(a, b)
 # [1] -0.03908718

Novamente, essa correlação familiar que vimos o tempo todo. A escala não tem impacto na correlação entre ae b. Mas!!

cor(a, a*b)
# [1,] 0.9290406

Agora isso terá uma correlação substancial que você pode fazer desaparecendo, centralizando e / ou padronizando. Eu geralmente vou apenas com a centralização.

Como outros já mencionaram, a padronização não tem nada a ver com colinearidade.

Colinearidade perfeita

$X$$\mu_X$$\sigma_X$

$$\newcommand{Var}{\mathrm{Var}} Z_X = \frac{X - \mu_X}{\sigma_X}$$

$\mu_Z = 0$$\sigma_Z = 1$$E(X + a) = E(X) + a$$E(bX) = b\,E(X)$$\Var(X + a) = \Var(X)$$\Var(bX) = b^2 \Var(X)$$X$$a,b$

$X$$Y$$\lambda_0$$\lambda_1$

$$Y = \lambda_0 + \lambda_1 X$$

$X$$\mu_X$$\sigma_X$$Y$$\mu_Y = \lambda_0 + \lambda_1 \mu_X$$\sigma_Y = \lambda_1 \sigma_X$$Z_X = Z_X$

Correlação

É claro que a colinearidade perfeita não é algo que veríamos com frequência, mas variáveis ​​fortemente correlacionadas também podem ser um problema (e são espécies relacionadas à colinearidade). Então, a padronização afeta a correlação? Compare os seguintes gráficos que mostram duas variáveis ​​correlacionadas em dois gráficos antes e depois do dimensionamento:

Você pode ver a diferença? Como você pode ver, removi propositalmente os rótulos dos eixos. Para convencê-lo de que não estou trapaceando, veja os gráficos com rótulos adicionados:

Matematicamente falando, se correlação é

$$\newcommand{Corr}{\mathrm{Corr}} \newcommand{Cov}{\mathrm{Cov}} \Corr(X, Y) = \frac{\Cov(X,Y)}{\Var(X)\,\Var(Y)}$$

então com variáveis ​​colineares temos

$$\require{cancel} \begin{align} \Corr(X, Y) &= \frac{E[(X - \mu_X)(Y - \mu_Y)]}{\sigma_X\sigma_Y} \\ &=\frac{E[(X - \mu_X)(\cancel{\lambda_0} + \lambda_1 X - \cancel{\lambda_0} - \lambda_1\mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{E[(X - \mu_X)(\lambda_1 X - \lambda_1\mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{E[(X - \mu_X)\lambda_1( X - \mu_X )]}{\sigma_X\;\lambda_1\sigma_X} \\ &= \frac{\cancel{\lambda_1} E[(X - \mu_X)(X - \mu_X )]}{\sigma_X\;\cancel{\lambda_1}\sigma_X} \\ &= \frac{E[(X - \mu_X)(X - \mu_X )]}{\sigma_X\sigma_X} \end{align}$$

$\Cov(X,X) = \Var(X)$

$$\begin{align} &= \frac{\Cov(X, X)}{\sigma_X^2} = \frac{\Var(X)}{\Var(X)} = 1 \end{align}$$

Enquanto com variáveis ​​padronizadas

$$\begin{align} \Corr(Z_X, Z_Y) &= \frac{E[(Z_X - 0)(Z_Y - 0)]}{1 \times 1} \\ &= \Cov(Z_X, Z_Y) = \Var(Z_X) = 1 \end{align}$$

$Z_X = Z_Y$

Finalmente, observe que o que Kruschke está falando é que a padronização das variáveis facilita a vida do amostrador de Gibbs e leva à redução da correlação entre interceptação e inclinação no modelo de regressão que ele apresenta. Ele não diz que a padronização de variáveis ​​reduz a colinearidade entre as variáveis.

A padronização não afeta a correlação entre variáveis. Eles permanecem exatamente os mesmos. A correlação captura a sincronização da direção das variáveis. Não há nada na padronização que mude a direção das variáveis.

Se você deseja eliminar a multicolinearidade entre suas variáveis, sugiro usar a Análise de Componentes Principais (PCA). Como você sabe, o PCA é muito eficaz na eliminação do problema da multicolinearidade. Por outro lado, o PCA torna as variáveis ​​combinadas (componentes principais P1, P2, etc ...) bastante opacas. Um modelo de PCA é sempre muito mais difícil de explicar do que o modelo multivariado mais tradicional.

Não reduz a colinearidade, pode reduzir o VIF. Geralmente usamos o VIF como indicador de preocupações com colinearidade.

Fonte: http://blog.minitab.com/blog/adventures-in-statistics-2/what-are-the-effects-of-multicollinearity-and-when-can-i-ignore-them

A padronização é uma maneira comum de reduzir a colinearidade. (Você deve poder verificar muito rapidamente se funciona, testando-o em alguns pares de variáveis.) Se você faz isso rotineiramente, depende do grau de colinearidade de um problema em suas análises.

Edit: Eu vejo que estava errado. O que a padronização faz, no entanto, é reduzir a colinearidade com os termos do produto (termos de interação).