Estou realizando experimentos no conjunto de validação EMNIST usando redes com RMSProp, Adam e SGD. Estou atingindo uma precisão de 87% com SGD (taxa de aprendizado de 0,1) e desistência (prob de desistência de 0,1), bem como regularização de L2 (penalidade 1e-05). Ao testar a mesma configuração exata com o RMSProp e Adam, bem como a taxa de aprendizado inicial de 0,001, estou obtendo uma precisão de 85% e uma curva de treinamento significativamente menos suave. Não sei como explicar esse comportamento. Qual pode ser a razão por trás da falta de suavidade na curva de treinamento e a menor precisão e maiores taxas de erro alcançadas?
Isso depende da rede. Você pode nos mostrar detalhes sobre a rede? Você também pode fornecer as curvas de aprendizado?
—
Memming
Esta é uma rede com 5 camadas (Dropout, Afim, ELU em cada camada), configurada da seguinte forma: 150 dimensões ocultas, função de ativação de ELU usada, 0,1 taxa de aprendizado para SGD, 0,001 taxa de aprendizado para RMS e Adam, regularização L2 com 1e -05 de penalidade, desistência com probabilidade de exclusão de 0,1.
—
Alk
E quando você diz "exatamente a mesma configuração ... taxa de aprendizado inicial de 0,001", você quer dizer que usou uma taxa de aprendizado diferente ou fez duas experiências: uma com a mesma taxa de aprendizado e outra com uma taxa diferente? Pode depender do software que você está usando, quais parâmetros padrão para quê.
—
Wayne
Então, usei 0,1 para SGD e 0,001 para Adam e RMSProp. Isso ocorre porque quando eu executei o Adam e o RMSProp com 0,1 taxa de aprendizado, ambos tiveram um desempenho ruim com uma precisão de 60%. Além disso, 0,001 é o valor recomendado no artigo sobre Adam.
—
Alk
Você deve postar curvas de aprendizado e se mede o erro nos dados de teste ou treinamento.
—
Jakub Bartczuk