O poder computacional das redes neurais está relacionado à função de ativação

10

Está provado que as redes neurais com pesos racionais têm o poder computacional da computabilidade da Universal Turing Machine Turing com redes neurais . Pelo que entendi, parece que o uso de pesos com valor real gera ainda mais poder computacional, embora eu não tenha certeza disso.

No entanto, existe alguma correlação entre o poder computacional de uma rede neural e sua função de ativação? Por exemplo, se a função de ativação compara a entrada com um limite de uma sequência de Specker (algo que você não pode fazer com uma máquina de Turing normal, certo?), Isso torna a rede neural computacionalmente "mais forte"? Alguém poderia me indicar uma referência nessa direção?

computability neural-networks

— K.Steff
fonte

O que você quer dizer com poder computacional?

— edA-qa mort-ora-y

@ edA-qamort-ora-y Fiz algumas edições para esclarecer a questão. Se você tiver quaisquer outras sugestões de edição, eu ficaria feliz em acomodá-los também

— K.Steff

12

Apenas uma nota:

racionais ponderada recorrentes s com função de activação booleanos (limiares simples) são equivalentes aos autómatos de estados finitos (Minsky, "Cálculo: máquinas finitos e infinitos", 1967); $NN$
$NN$
$NN$

mas ...

$NN$

— Vor
fonte

5

Vou pegar a solução fácil e dizer "Sim". Considere uma função de ativação que aceita todas as entradas e simplesmente retorna um valor constante (ou seja, ignora as entradas). Essa rede sempre resulta em uma saída constante e, portanto, o poder computacional (provavelmente por qualquer definição) dessa rede é zero. Não é capaz de calcular nada.

Isso é suficiente para mostrar uma correlação entre a função de ativação e a potência da rede. É claro que não mostra, nem refuta, que uma rede poderia ter mais energia do que uma máquina de tortura universal.

— edA-qa mort-ora-y
fonte