Perguntas com a marcação «random-forest»

Brincando com o Boston Housing Dataset e RandomForestRegressor(com parâmetros padrão) no scikit-learn, notei algo estranho: a pontuação média de validação cruzada diminuiu à medida que aumentava o número de dobras além de 10. Minha estratégia de validação cruzada era a seguinte: cv_met = ShuffleSplit(n_splits=k, test_size=1/k) scores = cross_val_score(est, X, y, …

11 machine-learning  cross-validation  random-forest  sample-size  scikit-learn 

Quando se trata de árvores de decisão, o valor previsto pode estar fora do intervalo dos dados de treinamento? Por exemplo, se o intervalo do conjunto de dados de treinamento da variável de destino for de 0 a 100, quando eu gerar meu modelo e aplicá-lo a outra coisa, meus …

11 regression  predictive-models  random-forest  cart 

A implementação randomForest não permite amostragem além do número de observações, mesmo quando amostragem com substituição. Por que é isso? Funciona bem: rf <- randomForest(Species ~ ., iris, sampsize=c(1, 1, 1), replace=TRUE) rf <- randomForest(Species ~ ., iris, sampsize=3, replace=TRUE) O que eu quero fazer: rf <- randomForest(Species ~ ., …

11 r  sampling  random-forest  stratification  oversampling 

Uma floresta aleatória é uma coleção de árvores de decisão formada pela seleção aleatória de apenas alguns recursos para construir cada árvore (e algumas vezes agrupando os dados de treinamento). Aparentemente, eles aprendem e generalizam bem. Alguém já fez amostragens no MCMC do espaço em árvore de decisão ou as …

11 mcmc  monte-carlo  random-forest  cart 

Quero treinar um classificador, digamos SVM, floresta aleatória ou qualquer outro classificador. Um dos recursos do conjunto de dados é uma variável categórica com 1000 níveis. Qual é a melhor maneira de reduzir o número de níveis nessa variável. No R, existe uma função chamada combine.levels()no pacote Hmisc , que …

11 classification  svm  random-forest  many-categories 

Digamos que eu tenha um modelo de classificação preditiva baseado em uma floresta aleatória (usando o pacote randomForest em R). Eu gostaria de configurá-lo para que os usuários finais possam especificar um item para o qual gerar uma previsão e gerar uma probabilidade de classificação. Até agora, não há problema. …

11 machine-learning  random-forest 

Se considerarmos uma árvore de decisão adulta (ou seja, uma árvore de decisão não podada), ela tem alta variação e baixo viés. Ensacamentos e florestas aleatórias usam esses modelos de alta variação e os agregam para reduzir a variação e, assim, aprimorar a precisão da previsão. Ambas as Florestas Ensacadas …

11 variance  random-forest  cart  bias  bagging 

Me deparei com o termo proximidade em florestas aleatórias. Mas não conseguia entender o que faz em florestas aleatórias. Como isso ajuda para fins de classificação?

11 machine-learning  random-forest 

O método com o qual estou familiarizado para construir uma floresta aleatória é o seguinte: (de http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm ) Para construir uma árvore na floresta, nós: Inicialize uma amostra do tamanho N, em que N é o tamanho do nosso conjunto de treinamento. Use esta amostra com bootstrap como o conjunto …

11 machine-learning  classification  random-forest 

Existe uma maneira de obter uma pontuação de confiança (também podemos chamar de valor ou probabilidade de confiança) para cada valor previsto ao usar algoritmos como Florestas Aleatórias ou Extreme Gradient Boosting (XGBoost)? Digamos que essa pontuação de confiança varie de 0 a 1 e mostre quão confiante estou em …

11 r  regression  random-forest  prediction  boosting 

Ajustei um conjunto de dados com uma classe de destino binário pela floresta aleatória. Em python, eu posso fazer isso por randomforestclassifier ou randomforestregressor. Posso obter a classificação diretamente do randomforestclassifier ou executar o randomforestregressor primeiro e recuperar um conjunto de pontuações estimadas (valor contínuo). Então, encontro um valor de …

11 python  random-forest 

Estou usando o RandomForestpacote R e estou confuso sobre como interpretar os valores do eixo Y em seus gráficos de dependência parcial. Os documentos da Ajuda afirmam que o gráfico é uma "representação gráfica do efeito marginal de uma variável na probabilidade de classe". No entanto, ainda estou confuso quanto …

11 r  interpretation  random-forest  partial-plot 

Estou trabalhando em um problema multiclasse com 9 possíveis rótulos, para os quais tenho um conjunto de dados composto por ~ 50.000 exemplos e ~ 200 recursos cada. Cada exemplo pode pertencer apenas a uma classe. Os dados são bastante equilibrados entre os diferentes rótulos. Dada a sua robustez e …

11 random-forest  scikit-learn  multi-class 

Eu tenho uma regressão aleatória da floresta criada usando skl e observo que produzo resultados diferentes com base na definição da semente aleatória com valores diferentes. Se eu usar o LOOCV para estabelecer qual semente funciona melhor, esse é um método válido?

10 cross-validation  random-forest 

Estou tentando testar a capacidade da floresta aleatória de classificar amostras entre 2 grupos; Existem 54 amostras e números variáveis ​​de variáveis ​​usadas para classificação. Fiquei me perguntando por que as estimativas out-of-bag (OOB) podem variar até 5% umas das outras, mesmo quando estou usando 50 mil árvores? Isso é …

10 machine-learning  random-forest