Eu sou novo na seleção de recursos e estava pensando em como você usaria o PCA para executar a seleção de recursos. O PCA calcula uma pontuação relativa para cada variável de entrada que você pode usar para filtrar variáveis de entrada não informativas? Basicamente, desejo poder solicitar os recursos originais nos dados por variação ou quantidade de informações contidas.
Respostas:
A idéia básica ao usar o PCA como uma ferramenta para a seleção de recursos é selecionar variáveis de acordo com a magnitude (do maior para o menor em valores absolutos) de seus coeficientes ( cargas ). Você deve se lembrar que o PCA procura substituir variáveis (mais ou menos correlacionadas) por combinações lineares não correlacionadas (projeções) das variáveis originais. Vamos ignorar como escolher um ideal para o problema em questão. Esses componentes principais são classificados por importância por meio da variação explicada e cada variável contribui com graus variados para cada componente. Usar os maiores critérios de variação seria semelhante à extração de recursosk < p k k j < p j p j , em que o componente principal é usado como novos recursos, em vez das variáveis originais. No entanto, podemos decidir manter apenas o primeiro componente e selecionar as variáveis que possuem o maior coeficiente absoluto; o número pode ser baseado na proporção do número de variáveis (por exemplo, mantenha apenas os 10% superiores das variáveis ) ou em um ponto de corte fixo (por exemplo, considerando um limite nos coeficientes normalizados). Essa abordagem tem alguma semelhança com o operador Lasso na regressão penalizada (ou regressão PLS ). Porém, nem o valor de nem o número de componentes a serem retidos são escolhas óbvias.
O problema com o uso de PCA é que (1) medições de todas as variáveis originais são usadas na projeção para o espaço dimensional inferior, (2) apenas relações lineares são consideradas e (3) métodos baseados em PCA ou SVD, também como métodos de triagem univariados (teste t, correlação etc.), não levam em consideração a natureza multivariada potencial da estrutura de dados (por exemplo, interação de ordem superior entre variáveis).
Sobre o ponto 1, alguns métodos de triagem mais elaborados foram propostos, por exemplo , análise de características principais ou método passo a passo, como o usado para " raspar genes " nos estudos de expressão gênica. Além disso, o PCA esparso pode ser usado para executar a redução de dimensão e a seleção de variáveis com base nas cargas variáveis resultantes. Sobre o ponto 2, é possível usar o PCA do kernel (usando o truque do kernel ) se for necessário incorporar relacionamentos não lineares em um espaço dimensional inferior. As árvores de decisão , ou melhor, o algoritmo de floresta aleatória , provavelmente são mais capazes de resolver o ponto 3. O último permite derivar medidas baseadas em Gini ou permutação de importância variável .
Um último ponto: se você pretende executar a seleção de características antes de aplicar um modelo de classificação ou regressão, certifique-se de validar cruzadamente todo o processo (consulte o §7.10.2 dos Elementos de aprendizagem estatística , ou Ambroise e McLachlan, 2002 ).
Como você parece estar interessado na solução R, eu recomendaria dar uma olhada no pacote de intercalação , que inclui várias funções úteis para pré-processamento de dados e seleção de variáveis em um contexto de classificação ou regressão.
Dado um conjunto de recursos N, uma análise PCA produzirá (1) a combinação linear dos recursos com maior variação (primeiro componente PCA), (2) a combinação linear com a maior variação no subespaço ortogonal ao primeiro componente PCA, etc. (sob a restrição de que os coeficientes da combinação formam um vetor com norma unitária) Se a combinação linear com variação máxima é um recurso "bom" depende realmente do que você está tentando prever. Por esse motivo, eu diria que ser um componente do PCA e ser um "bom" recurso são (em geral) duas noções não relacionadas.
Você não pode solicitar recursos de acordo com sua variação, pois a variação usada no PCA é basicamente uma entidade multidimensional. Você só pode solicitar recursos pela projeção da variação na direção que você escolher (que normalmente é o primeiro componente principal). Portanto, em outras palavras, se um recurso tem mais variação do que o outro depende de como você escolhe a direção da projeção.