Existem trabalhos publicados que mostram diferenças nos métodos de regularização de redes neurais, preferencialmente em domínios diferentes (ou pelo menos diferentes conjuntos de dados)?
Estou perguntando, porque atualmente tenho a sensação de que a maioria das pessoas parece usar apenas o abandono para regularizar a visão computacional. Gostaria de verificar se haveria uma razão (não) para usar diferentes formas de regularização.
Respostas:
Dois pontos:
De qualquer forma, sou um pouco cético em relação aos estudos empíricos das redes neurais. Há muitos hiperparâmetros para ajustar, da topologia da rede ao procedimento de otimização de descida de gradiente, às funções de ativação e o que você estiver testando como regularização. Então, a coisa toda é estocástica e, geralmente, os ganhos de desempenho são tão pequenos que você dificilmente pode testar as estatísticas. Muitos autores nem se dão ao trabalho de realizar testes estatísticos. Eles apenas validam cruzadamente a média e declaram que qualquer modelo que tenha o maior ganho de ponto decimal é o vencedor.
Você pode encontrar um estudo que promove o abandono apenas para ser contradito por outra regularização da promoção.
Eu acho que tudo se resume a preferências estéticas. O abandono do IMHO parece mais plausível do que a regularização. Também parece mais fácil calibrar. Então, eu pessoalmente prefiro quando usar uma estrutura como o TensorFlow. Se precisarmos usar nossa própria rede neural, o que costumamos fazer, usaremos a regularização porque foi mais fácil de implementar.
Definitivamente. O artigo do próprio Criador, Geoffrey Hinton. https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf leia-o. Mas eu encorajo você a ver a diferença implementando-a.