No nível do modelo, para avaliar a contribuição / importância do preditor, podemos usar:
- Técnicas específicas do modelo - por exemplo, pureza (Índice de Gini) para um modelo baseado em árvore, coeficientes do modelo, quando aplicável, etc.
- Técnicas independentes de modelo - por exemplo, importância da característica de permutação, dependência parcial etc.
O que isso não transmite é para uma previsão específica (digamos, uma classificação binária que fornece 92% de probabilidade de pertencer à classe 1) quais preditores foram mais "influentes" na produção dessa previsão.
Tendo pensado um pouco sobre esse problema, parece-me que existem algumas abordagens que podem ser adotadas:
- Técnicas específicas do modelo - por exemplo, coeficientes de modelos lineares aplicáveis, técnicas como aqui descritas para, por exemplo, o XGBoost ( https://medium.com/applied-data-science/new-r-package-the-xgboost-explainer-51dd7d1aa211 )
- Técnicas independentes de modelo - por exemplo, algum tipo de "método de perturbação" semelhante à Dependência parcial para entender como a previsão muda quando perturbamos o preditor e talvez modelar isso ?, ou técnicas como LIME descritas neste artigo ( https://arxiv.org/ pdf / 1602.04938.pdf e https://github.com/marcotcr/lime ), uma técnica de Importância da Permutação modificada?
Parece-me que a abordagem mais valiosa seria uma técnica independente de modelo, dada a natureza um tanto "de caixa-preta" de muitos algoritmos, e fornecendo a capacidade de interpretar novos e novos algoritmos e técnicas.
Um método ingênuo, descrito aqui ( http://amunategui.github.io/actionable-instights/index.html ) é pegar cada preditor, "neutralizar" seu impacto, digamos, imputando a média da "população" e executar a previsão novamente. obtendo uma diferença entre a previsão original e a versão neutralizada, fornecendo uma medida de importância. Este parece ser um caso especial de um tipo de método de "perturbação", sugerido acima. Algumas falhas que vejo nelas são: 1) parece implicar que uma previsão que tenha o "médio" (ou equivalente) de cada recurso seja necessariamente uma previsão "média", talvez, e 2) que os recursos que são "meios ”(Ou equivalente) são necessariamente sem impacto?
De maneira mais geral, qualquer técnica teria que explicar:
- Como lidar com diferentes tipos de dados (numéricos, categóricos etc.)
- Como lidar com dados ausentes
- Como lidar com a importância condicional, talvez (ou seja, que os preditores podem ser importantes apenas em pares, etc.)
- Eficiência computacional (é realmente prático executar uma predição vezes em que é o número de preditores ou para um método de perturbação que é o número de predições por preditor etc.)p k p k
Com aqueles pensamentos soltos e talvez incorretos sobre o assunto exposto, pergunto-me que abordagens ao problema as pessoas estão cientes, consideraram, usaram, recomendariam etc.?