Significado de uma rede neural como uma caixa preta?

19

Costumo ouvir pessoas falando sobre redes neurais como algo como uma caixa preta que você não entende o que ela faz ou o que elas significam. Na verdade, eu não consigo entender o que eles querem dizer com isso! Se você entende como a propagação traseira funciona, como é uma caixa preta?

Eles significam que não entendemos como os pesos calculados ou o quê?

machine-learning neural-networks

— Jack Twain
fonte

1

Talvez isso ajude: colah.github.io/posts/2014-03-NN-Manifolds-Topology Este artigo tenta descobrir o mecanismo subjacente das redes neurais sob uma perspectiva topológica, oferecendo muitas idéias brilhantes para explicar o desempenho de redes neurais.

— 24414 Sol

Eu gostaria de acrescentar um ponto a Jack, quando olhamos para o MLP no ponto de vista de aprendizado de máquina, as redes neurais não são mais uma caixa preta. Com a função sigmóide simples, seremos capazes de interpretar a relação de entrada e saída com uma equação.

37

Uma rede neural é uma caixa preta no sentido de que, embora possa se aproximar de qualquer função, o estudo de sua estrutura não fornecerá informações sobre a estrutura da função que está sendo aproximada.

$C$ $R$ $f(C)=R$

$f$

A questão da caixa preta é: A aproximação dada pela rede neural não fornecerá nenhuma visão sobre a forma de f. Não existe um vínculo simples entre os pesos e a função que está sendo aproximada. Mesmo a análise de qual característica de entrada é irrelevante é um problema em aberto (consulte este link ).

Além disso, do ponto de vista das estatísticas tradicionais, uma rede neural é um modelo não identificável: dado um conjunto de dados e uma topologia de rede, pode haver duas redes neurais com pesos diferentes e o mesmo resultado. Isso torna a análise muito difícil.

Como um exemplo de "modelos de caixa não preta" ou "modelos interpretáveis", você tem equações de regressão e árvores de decisão. O primeiro fornece uma aproximação fechada de f, onde a importância de cada elemento é explícita, o segundo é uma descrição gráfica de alguns riscos / odds ratio relativos.

— Lucas Gallindo
fonte

Como esta é uma resposta antiga, pode ser útil para alguns fornecer algumas ferramentas recém-desenvolvidas: "A aproximação dada pela rede neural não fornecerá nenhuma visão sobre a forma de f" - eu diria que o SHAP agora faz um excelente trabalho de explicação de modelos, mesmo para redes neurais. "Mesmo a análise de qual característica de entrada é irrelevante é um problema em aberto" - métodos como a importância da permutação e o SHAP, agora resolvem esse problema muito bem.

— Bobson Dugnutt 03/09

3

O Google publicou o Inception-v3 . É uma rede neural (NN) para o algoritmo de classificação de imagens (informando um gato a um cachorro).

No artigo, eles falam sobre o estado atual da classificação de imagens

Por exemplo, o GoogleNet empregava apenas 5 milhões de parâmetros, o que representava uma redução de 12x em relação ao seu antecessor AlexNet, que usava 60 milhões de parâmetros. Além disso, a VGGNet empregava cerca de 3x mais parâmetros que o AlexNet

e é basicamente por isso que chamamos NN de caixas pretas. Se eu treinar um modelo de classificação de imagens - com 10 milhões de parâmetros - e entregá-lo a você. O que você pode fazer com isso?

Você certamente pode executá-lo e classificar imagens. Vai funcionar muito bem! Mas você não pode responder a nenhuma das seguintes perguntas estudando todos os pesos, preconceitos e estrutura de rede.

Esta rede pode distinguir um Husky de um Poodle?
Quais objetos são fáceis de classificar para o algoritmo, quais são difíceis?
Qual parte do cão é a mais importante para poder classificá-lo corretamente? A cauda ou o pé?
Se eu fotografo uma cabeça de gato em um cachorro, o que acontece e por quê?

Talvez você possa responder às perguntas apenas executando o NN e ver o resultado (caixa preta), mas não há nenhuma mudança de entendimento sobre por que ele está se comportando da mesma maneira que nos casos extremos.

— engarrafador
fonte

Penso que pelo menos uma das perguntas ('Qual parte de um cão é a mais importante para poder classificá-lo corretamente? A cauda ou o pé?') É bastante responsável, se você olhar o artigo e o vídeo de Matt Zeiler sobre deconvolutitonal redes

— Alex