Aprendizado profundo vs. árvores de decisão e métodos de reforço

18

Estou procurando artigos ou textos que comparem e discutam (empiricamente ou teoricamente):

Algoritmos de árvores de Boosting e Decision , como Random Forests ou AdaBoost , e GentleBoost, aplicados a árvores de decisão.

com

Métodos de aprendizado profundo, como Máquinas Boltzmann Restritas , Memória Temporal Hierárquica , Redes Neurais Convolucionais , etc.

Mais especificamente, alguém conhece um texto que discute ou compara esses dois blocos de métodos de BC em termos de velocidade, precisão ou convergência? Além disso, estou procurando textos que expliquem ou sintetizem as diferenças (por exemplo, prós e contras) entre os modelos ou métodos no segundo bloco.

Quaisquer sugestões ou respostas que abordem essas comparações diretamente serão muito apreciadas.

— Amelio Vazquez-Reina
fonte

1

Você pode ser mais específico sobre os tipos de dados que está visualizando? Isso determinará, em parte, que tipo de algoritmo convergirá mais rapidamente.

Também não sei como comparar métodos como impulsionar e DL, pois impulsionar é realmente apenas uma coleção de métodos. Quais outros algoritmos você está usando com o reforço?

Em geral, as técnicas de DL podem ser descritas como camadas de codificador / decodificador. O pré-treinamento não supervisionado funciona primeiro pré-treinando cada camada, codificando o sinal, decodificando o sinal e medindo o erro de reconstrução. O ajuste pode então ser usado para obter melhor desempenho (por exemplo, se você usar denoising auto-codificadores automáticos, poderá usar propagação traseira).

Um bom ponto de partida para a teoria da DL é:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.73.795&rep=rep1&type=pdf

bem como estes:

http://portal.acm.org/citation.cfm?id=1756025

(desculpe, tive que excluir o último link devido ao sistema de filtragem de SPAM)

Não incluí nenhuma informação sobre RBMs, mas elas estão intimamente relacionadas (embora pessoalmente sejam um pouco mais difíceis de entender a princípio).

— user5268
fonte

Obrigado @f (x), estou interessado na classificação de segmentos ou patches de pixel (2D ou 3D), mas queria manter a pergunta original o mais geral possível. Se métodos diferentes funcionarem melhor em diferentes tipos de conjuntos de dados, eu estaria interessado em uma discussão abordando essas diferenças.

— Amelio Vazquez-Reina

1

Geralmente em termos de processamento de imagem, os métodos de DL atuam como extratores de recursos que podem ser emparelhados com SVMs para fazer a classificação. Esses métodos são geralmente comparáveis a abordagens criadas manualmente, como SIFT, SURF e HOG. Os métodos de DL foram estendidos para vídeo com CRBMs fechados e ISA. Os métodos de engenharia manual incluem HOG / HOF, HOG3d e eSURF (consulte Wang et al. 2009 para uma boa comparação).

— User5268

1

Ótima pergunta! Tanto o estímulo adaptativo quanto o aprendizado profundo podem ser classificados como redes probabilísticas de aprendizado. A diferença é que a "aprendizagem profunda" envolve especificamente uma ou mais "redes neurais", enquanto "impulsionar" é um "algoritmo de meta-aprendizagem" que requer uma ou mais redes de aprendizagem, chamadas de alunos fracos, que podem ser "qualquer coisa" (ou seja, rede neural, árvore de decisão, etc). O algoritmo de impulso leva uma ou mais de suas fracas redes de aprendizes para formar o que é chamado de "aprendiz forte", o que pode "impulsionar" significativamente os resultados gerais das redes de aprendizado (por exemplo, Viola e Jones Face Detector, da Microsoft, OpenCV).

— SensorVista
fonte