O clareamento é sempre bom?

Uma etapa comum de pré-processamento para algoritmos de aprendizado de máquina é o clareamento de dados.

Parece que é sempre bom fazer o clareamento, uma vez que correlaciona os dados, facilitando a modelagem.

Quando o clareamento não é recomendado?

Nota: estou me referindo à desacorrelação dos dados.

O pré-clareamento é uma generalização da normalização de recursos, que torna a entrada independente, transformando-a em uma matriz de covariância de entrada transformada. Não vejo por que isso pode ser uma coisa ruim.

No entanto, uma pesquisa rápida revelou "A viabilidade do clareamento de dados para melhorar o desempenho do radar meteorológico" ( pdf ), que diz:

Em particular, o clareamento funcionou bem no caso da ACF exponencial (que está de acordo com os resultados de Monakov), mas menos bem no caso da gaussiana. Após experimentação numérica, descobrimos que o caso gaussiano é numericamente mal condicionado, no sentido de que o número da condição (razão do valor próprio máximo e mínimo) é extremamente grande para a matriz de covariância gaussiana.

Eu não sou educado o suficiente para comentar sobre isso. Talvez a resposta para sua pergunta seja que o clareamento seja sempre bom, mas existem algumas dicas (por exemplo, com dados aleatórios, ele não funcionará bem se for feito através da função de autocorrelação gaussiana).

Em primeiro lugar, acho que a des correlação e o clareamento são dois procedimentos separados.

Para desassociar os dados, precisamos transformá-los para que os dados transformados tenham uma matriz de covariância diagonal. Essa transformação pode ser encontrada resolvendo o problema de autovalor. Encontramos os autovetores e os autovalores associados da matriz de covariância , resolvendo${\bf \Sigma} = {\bf X}{\bf X}'$

$${\bf \Sigma}{\bf \Phi} = {\bf \Phi} {\bf \Lambda}$$

onde é uma matriz diagonal tendo os autovalores como seus elementos diagonais.${\bf \Lambda}$

A matriz diagonaliza assim a matriz de covariância de X . As colunas de Φ são os autovetores da matriz de covariância.${\bf \Phi}$${\bf X}$${\bf \Phi}$

Também podemos escrever a covariância diagonalizada como:

$${\bf \Phi}' {\bf \Sigma} {\bf \Phi} = {\bf \Lambda} \tag{1}$$

${\bf x}_i$

$${\bf x}_i^* = {\bf \Phi}' {\bf x}_i \tag{2}$$

${\bf \Lambda}$

$${\bf \Lambda}^{-1/2} {\bf \Lambda} {\bf \Lambda}^{-1/2} = {\bf I}$$

$(1)$

$${\bf \Lambda}^{-1/2} {\bf \Phi}' {\bf \Sigma} {\bf \Phi} {\bf \Lambda}^{-1/2} = {\bf I}$$

${\bf x}_i^*$${\bf x}_i^\dagger$

$${\bf x}_i^{\dagger} = {\bf \Lambda}^{-1/2} {\bf x}_i^* = {\bf \Lambda}^{-1/2}{\bf \Phi}'{\bf x}_i \tag 3$$

${\bf x}_i^\dagger$${\bf x}_i^\dagger$${\bf E}({\bf x}_i^\dagger {{\bf x}_i^\dagger}') = {\bf I}$

${\bf \Sigma}$

E, finalmente, há uma "pegadinha" comum com a qual as pessoas devem ter cuidado. É preciso ter cuidado para calcular os fatores de escala nos dados de treinamento e, em seguida, usar as equações (2) e (3) para aplicar os mesmos fatores de escala aos dados de teste; caso contrário, você corre o risco de sobreajustar (você usaria informações do conjunto de testes no processo de treinamento).

Fonte: http://courses.media.mit.edu/2010fall/mas622j/whiten.pdf

De http://cs231n.github.io/neural-networks-2/

Uma fraqueza dessa transformação é que ela pode exagerar bastante o ruído nos dados, uma vez que estende todas as dimensões (incluindo as dimensões irrelevantes da variação minúscula que são principalmente o ruído) para ter tamanho igual na entrada. Na prática, isso pode ser atenuado por uma suavização mais forte ...

Infelizmente, eu não sou educado o suficiente para comentar mais sobre isso.