As redes neurais têm explicabilidade, como as árvores de decisão?

13

Nas Árvores de Decisão, podemos entender a saída da estrutura da árvore e também podemos visualizar como a Árvore de Decisão toma decisões. Portanto, as árvores de decisão têm explicabilidade (sua saída pode ser explicada facilmente).

Temos explicabilidade em redes neurais como nas árvores de decisão?

neural-network

— navya
fonte

1

Uma estrutura independente de modelo recente é o modelo LIME .

— Emre

No campo de reconhecimento / classificação de objetos usando redes neurais, os mapas de calor são populares para visualizar / explicar uma decisão como em heatmapping.org . Tutoriais e demonstrações interativas estão disponíveis.

— Nikolas Rieble

9

Discordo da resposta anterior e da sua sugestão por dois motivos:

1) As árvores de decisão são baseadas em decisões lógicas simples que combinadas podem tomar decisões mais complexas. MAS, se sua entrada tiver 1000 dimensões e os recursos aprendidos forem altamente não lineares, você obterá uma árvore de decisão realmente grande e pesada que você não poderá ler / entender apenas olhando os nós.

2) As redes neurais são semelhantes àquelas no sentido de que a função que aprendem é compreensível apenas se forem muito pequenas. Ao crescer, você precisa de outros truques para entendê-los. Como o @SmallChess sugeriu, você pode ler este artigo chamado Visualizando e compreendendo redes convolucionais, que explica o caso particular de redes neurais convolucionais, como você pode ler os pesos para entender coisas como "ele detectou um carro nesta imagem, principalmente por causa da rodas, não o resto dos componentes ".

Essas visualizações ajudaram muitos pesquisadores a realmente entender os pontos fracos em suas arquiteturas neurais e a melhorar os algoritmos de treinamento.

— Robin
fonte

:-) Achei o trabalho em si mais difícil de entender do que a profunda rede convolucional em si. É um artigo muito matemático.

— HelloWorld

1

Desculpe, citei o artigo errado :-) Acabei de alterá-lo, este é mais gráfico, a ideia de reverter a convnet não é realmente difícil se você souber como os convnets funcionam. Da mesma forma, o sonho profundo do Google usa a propagação de retorno para projetar uma saída específica no espaço de entrada.

— 22417 Robin

Existe um vídeo em que Matt Zeiler expande muitas dessas idéias, chamadas redes de deconconvolução

— Alex

7

Não. A rede neural é geralmente difícil de entender. Você troca poder preditivo pela complexidade do modelo. Embora seja possível visualizar graficamente os pesos da NN, eles não informam exatamente como é tomada uma decisão. Boa sorte tentando entender uma rede profunda.

Existe um pacote Python popular (e possui um documento) que pode modelar um NN localmente com um modelo mais simples. Você pode querer dar uma olhada.

https://github.com/marcotcr/lime

— Olá Mundo
fonte

1

haha Eu sei como é. abraços : D

— Dawny33

0

https://arxiv.org/abs/1704.02685 fornece uma ferramenta de explicação local específica da NN: levantamento profundo. Ele funciona propagando a diferença na ativação entre a instância que você deseja explicar e uma instância de referência. Obter uma referência é um pouco complicado, mas a ferramenta parece ser interpretável e escalável em geral. Usamos isso em dados tabulares.

— lcrmorin
fonte