Importância do recurso com a floresta aleatória scikit-learn mostra desvio padrão muito alto

Estou usando o Classificador Aleatório de Floresta scikit-learn e quero plotar a importância do recurso, como neste exemplo .

No entanto, meu resultado é completamente diferente, no sentido de que o desvio padrão da importância da característica é quase sempre maior do que a própria importância da característica (ver imagem em anexo).

É possível ter esse tipo de comportamento ou estou cometendo alguns erros ao traçá-lo?

Meu código é o seguinte:

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn.ensemble import RandomForestClassifier

clf = RandomForestClassifier()
clf.fit(predictors.values, outcome.values.ravel())

importance = clf.feature_importances_
importance = pd.DataFrame(importance, index=predictors.columns, 
                          columns=["Importance"])

importance["Std"] = np.std([tree.feature_importances_
                            for tree in clf.estimators_], axis=0)

x = range(importance.shape[0])
y = importance.ix[:, 0]
yerr = importance.ix[:, 1]

plt.bar(x, y, yerr=yerr, align="center")

plt.show()

Você está usando o RandomForest com o número padrão de árvores, que é 10. Para cerca de 30 recursos, isso é muito pouco. Portanto, o desvio padrão é grande. Tente pelo menos 100 ou até 1000 árvores, como

clf = RandomForestClassifier(n_estimators=1000)

Para uma análise mais refinada, você também pode verificar o tamanho da correlação entre seus recursos.

Seu resultado não é tão estranho. Como afirma o lanenok , você deve, em um primeiro passo, aumentar o número de árvores para garantir um resultado 'estatístico' referente às importâncias do recurso.

No entanto, como este artigo de Genuer et al. (2010) mostra, você pode realmente usar os desvios padrão para eliminar recursos. Para citar: " Podemos ver que o desvio padrão das variáveis ​​verdadeiras é grande comparado às variáveis ​​barulhentas, próximas a zero " .

Tente clf = RandomForestClassifier(max_features=None). O max_featurespadrão do parâmetro 'auto'é equivalente a sqrt(n_features). max_featuresé descrito como "O número de recursos a serem considerados ao procurar a melhor divisão". Observar apenas um pequeno número de recursos em qualquer ponto da árvore de decisão significa que a importância de um único recurso pode variar amplamente em várias árvores. Portanto, não olhe para um subconjunto aleatório, apenas observe todos os recursos em todos os níveis da árvore.

Um motivo comum para isso é que os parâmetros que você forneceu (ou padronizou) RandomForestClassifiernão são adequados para o seu conjunto de dados.

Uma maneira comum de resolver esse problema é pesquisar o espaço do hiperparâmetro usando, por exemplo GridSearchCV:

from sklearn.model_selection import GridSearchCV
from sklearn.metrics import accuracy_score, make_scorer

param_grid = {'n_estimators': [10, 100, 1000], 'max_features': [5, 10, 20, 30]}
clf = GridSearchCV(RandomForestClassifier(), param_grid, cv=5, scoring=make_scorer(accuracy_score))

param_gridaqui estão as permutações dos parâmetros que você deseja pesquisar e essa make_scorer(accuracy_score)é a medida que você deseja otimizar.

Observe que accuracy_scoreé adequado para conjuntos balanceados, mas não para conjuntos não balanceados. Escolha uma métrica adequada para seu objetivo específico.

Pode haver vários motivos. O número de árvores e a profundidade podem alterar seus resultados. Se o seu modelo não tiver um bom desempenho após a seleção dos parâmetros (validação cruzada etc.), provavelmente é porque seus recursos não são muito preditivos, por isso são escolhidos quase que aleatoriamente, o que leva a altos desvios padrão de árvore para árvore. Mas existem outras possibilidades, por exemplo, também pode ser que seus recursos sejam altamente correlacionados. Um pouco mais de informação seria útil.