Resultados teóricos para florestas aleatórias?

9

As florestas aleatórias têm uma reputação entre os praticantes de estar entre as técnicas de classificação mais eficazes. No entanto, não os encontramos muito na literatura teórica da aprendizagem, da qual suponho uma ausência de resultados teóricos profundos. Se alguém quisesse mergulhar nessa teoria, por onde começar?

machine-learning lg.learning

— Aryeh
fonte

2

Há um novo artigo no próximo SODA'15 que pode ser relevante. Veja meetings.siam.org/sess/dsp_talk.cfm?p=68795

— Chandra Chekuri

@ChandraChekuri, vejo apenas um resumo, mas não um artigo. Existe um artigo completo? E isso tem algo a ver com o método de aprendizado de máquina de florestas aleatórias (para tarefas supervisionadas de aprendizagem / classificação)?

— DW

Escreva para os autores e veja se eles estão dispostos a compartilhar uma cópia. Estou ciente dos resultados, mas ainda não vi o jornal.

— Chandra Chekuri 30/10

5

Seguindo a resposta de Simone, Gerard Biau tem vários artigos muito bons que analisam convergência e consistência para florestas aleatórias. As análises são para versões ligeiramente simplificadas do algoritmo em comparação com Breiman 2001, mas menos simplificadas que os resultados anteriores.

Os documentos de Biau (junto com seus colaboradores) estão disponíveis em seu site:

http://www.lsta.upmc.fr/BIAU/publications.html

Um que é particularmente relevante é um trabalho "in press" sobre consistência: http://www.lsta.upmc.fr/BIAU/sbv.pdf

Existem outros 2-3 artigos com conteúdo florestal aleatório. Acabei de ingressar na cstheory, por isso não posso postar mais de dois links, mas o site de publicações acima possui todos.

Espero que isso ajude. Parece que há uma explosão de atividades recentes desde 2008, após um período de uso amplamente empírico do método. E a boa notícia é que as investigações teóricas parecem mostrar que o método é robusto e tem boas propriedades.

— Mark Madsen
fonte

6

Acho que você já deu uma olhada no artigo de Breiman em 2001 sobre RF. Eu posso apenas apontar algumas outras referências:

Comparações empíricas de diferentes simplificações de RF que permitem provar teoremas: Reduzindo o fosso: florestas aleatórias na teoria e na prática

Esta é a referência mais recente que posso fornecer. Neste artigo, você também pode encontrar algumas citações dos artigos de Biau sobre o trabalho inicial de resultados teóricos para RF.

Se você estiver interessado em resultados teóricos sobre importância variável em RF: Entendendo as importâncias variáveis em florestas de árvores aleatórias

Na verdade, acabei de descobrir que o autor do último artigo (Gilles Louppe) acabou de publicar em arxiv sua tese de doutorado (v2): Entendendo florestas aleatórias: da teoria à prática

— Simone
fonte