Estatísticas e Big Data bagging

7

Ensacamento, aumento e empilhamento no aprendizado de máquina

Quais são as semelhanças e diferenças entre estes três métodos: Bagagem, Boosting, Empilhamento? Qual é o melhor? E porque? Você pode me dar um exemplo para cada um?

245 machine-learning boosting ensemble bagging model-averaging

5

A floresta aleatória é um algoritmo de impulso?

Breve definição de reforço : Um conjunto de alunos fracos pode criar um único aluno forte? Um aluno fraco é definido como um classificador que é apenas ligeiramente correlacionado com a classificação verdadeira (pode rotular exemplos melhor do que suposições aleatórias). Breve definição de floresta aleatória : Florestas aleatórias crescem …

51 machine-learning random-forest boosting bagging

2

Essa é a metodologia de regressão de última geração?

Venho acompanhando as competições do Kaggle há muito tempo e percebo que muitas estratégias de vitória envolvem o uso de pelo menos uma das "três grandes" qualidades: empacotar, aumentar e empilhar. Para as regressões, em vez de se concentrar na construção de um melhor modelo de regressão possível, a criação …

33 predictive-models boosting bagging stacking model-averaging

2

A que se refere o "tamanho do nó" na Floresta Aleatória?

Eu não entendo exatamente o que se entende por tamanho do nó. Eu sei o que é um nó de decisão, mas não o tamanho do nó.

20 machine-learning random-forest bagging

3

Quando não devo usar um classificador de conjunto?

Em geral, em um problema de classificação em que o objetivo é prever com precisão a associação de classe fora da amostra, quando não devo usar um classificador de conjunto? Esta questão está intimamente relacionada a: Por que nem sempre usar a aprendizagem por conjuntos? . Essa pergunta pergunta por …

17 classification boosting ensemble bagging

1

Quais são as garantias teóricas do ensacamento

Eu (aproximadamente) ouvi dizer que: ensacamento é uma técnica para reduzir a variação de um algoritmo de preditor / estimador / aprendizado. No entanto, nunca vi uma prova matemática formal dessa afirmação. Alguém sabe por que isso é matematicamente verdadeiro? Parece ser um fato amplamente aceito / conhecido, que eu …

17 machine-learning mathematical-statistics bagging

1

Árvores de aprimoramento e ensacamento (XGBoost, LightGBM)

Existem muitas postagens de blog, vídeos do YouTube etc. sobre as idéias de empacotar ou aumentar árvores. Meu entendimento geral é que o pseudo-código para cada um é: Ensacamento: Coletar N amostras aleatórias de x% das amostras e% de recursos Ajuste seu modelo (por exemplo, árvore de decisão) em cada …

17 cart boosting xgboost bagging

1

Qual método de comparação múltipla usar para um modelo mais antigo: lsmeans ou glht?

Estou analisando um conjunto de dados usando um modelo de efeitos mistos com um efeito fixo (condição) e dois efeitos aleatórios (participante devido ao design do sujeito e ao par). O modelo foi gerado com o lme4pacote: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Em seguida, realizei um teste de razão de verossimilhança desse modelo em …

15 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

2

Por que a função de inicialização do scikit-learn reanalisa o conjunto de testes?

Ao usar o bootstrapping para avaliação do modelo, sempre achei que as amostras prontas para uso foram usadas diretamente como conjunto de teste. No entanto, esse parece não ser o caso da abordagem preterida do scikit-learnBootstrap , que parece criar o conjunto de testes a partir do desenho com a …

15 cross-validation bootstrap random-forest scikit-learn bagging

1

Quais algoritmos de empacotamento são sucessores dignos da Floresta Aleatória?

Para aumentar os algoritmos, eu diria que eles evoluíram muito bem. No início de 1995, o AdaBoost foi introduzido e, depois de algum tempo, era o Gradient Boosting Machine (GBM). Recentemente, foi lançado o XGBoost, por volta de 2015, que é preciso, lida com o excesso de ajustes e se …

14 random-forest boosting bagging

5

Algoritmo aleatório de floresta e árvore de decisão

Uma floresta aleatória é uma coleção de árvores de decisão seguindo o conceito de ensacamento. Quando passamos de uma árvore de decisão para a próxima, então como as informações aprendidas pela última árvore de decisão avançam para a próxima? Porque, de acordo com meu entendimento, não há nada como um …

14 machine-learning random-forest cart bagging

3

A floresta aleatória e o reforço são paramétricos ou não paramétricos?

Lendo a excelente modelagem estatística: As duas culturas (Breiman 2001) , podemos aproveitar toda a diferença entre modelos estatísticos tradicionais (por exemplo, regressão linear) e algoritmos de aprendizado de máquina (por exemplo, Bagging, Random Forest, Boosted trees ...). Breiman critica os modelos de dados (paramétricos) porque eles se baseiam na …

13 machine-learning data-mining random-forest boosting bagging

1

Por que nem sempre usar a aprendizagem em conjunto?

Parece-me que a aprendizagem por conjuntos sempre oferecerá melhor desempenho preditivo do que com apenas uma única hipótese de aprendizagem. Então, por que não os usamos o tempo todo? Meu palpite é que talvez seja devido a limitações computacionais? (mesmo assim, usamos preditores fracos, então eu não sei).

13 boosting ensemble bagging

2

Por que uma árvore em saco / árvore aleatória da floresta tem um viés mais alto do que uma única árvore de decisão?

Se considerarmos uma árvore de decisão adulta (ou seja, uma árvore de decisão não podada), ela tem alta variação e baixo viés. Ensacamentos e florestas aleatórias usam esses modelos de alta variação e os agregam para reduzir a variação e, assim, aprimorar a precisão da previsão. Ambas as Florestas Ensacadas …

11 variance random-forest cart bias bagging

1

Previsão Probabilística Aleatória da Floresta vs voto da maioria

O aprendizado do Scikit parece usar predição probabilística, em vez de voto majoritário, para a técnica de agregação de modelos, sem uma explicação do porquê (1.9.2.1. Florestas aleatórias). Existe uma explicação clara para o porquê? Além disso, existe um bom artigo em papel ou de revisão para as várias técnicas …

10 random-forest python scikit-learn aggregation bagging

Perguntas com a marcação «bagging»