Acabei de me deparar com o conceito de cobertura de neurônios, que é a proporção de neurônios ativados e neurônios totais em uma rede neural. Mas o que significa um neurônio ser "ativado"? Eu sei o que são funções de ativação, mas o que significa ser ativado, por exemplo, no caso de uma ReLU ou uma função sigmóide?
Respostas:
Um neurônio é dito ativado quando sua saída é superior a um limite, geralmente 0.
Por exemplo: quando a = w T x + b > 0
O mesmo vale para funções sigmóides ou outras funções de ativação.
O termo "ativado" é usado principalmente quando se fala de funções de ativação que emitem apenas um valor (exceto 0) quando a entrada para a função de ativação é maior que um determinado limite.
Especialmente ao discutir ReLU, o termo "ativado" pode ser usado. ReLU será "ativado" quando sua saída for maior que 0, o que também ocorre quando sua entrada for maior que 0.
Outras funções de ativação, como sigmoid, sempre retornam um valor maior que 0 e não possuem nenhum limite especial. Portanto, o termo "ativado" tem menos significado aqui.
Mesmo sabendo pouco sobre eles, os neurônios no cérebro também parecem ter algo que se assemelha a uma função de ativação com algum tipo de "limiar de ativação".