Efeito de NÃO alterar os pesos dos filtros da CNN durante o backprop

Qual é o efeito de NÃO alterar os pesos de filtro de uma CNN durante a retropropagação? Alterei apenas os pesos da camada totalmente conectada durante o treinamento no conjunto de dados MNIST e ainda consegui quase 99% de precisão.

machine-learning cnn mnist

— Abhisek Dash
fonte

Interessante, você começou com pesos aleatórios ou usando pesos de alguma rede anterior? Também é sua medida de precisão do conjunto de treinamento ou de um conjunto de teste de espera?

— Neil Slater

@ Neil Slater: Comecei com pesos gaussianos aleatórios. A medida de precisão está no conjunto de testes.

— Abhisek Dash

@ Neil Slater: A precisão quase permanece a mesma, mesmo com diferentes inicializações dos filtros. I utilizados dois convolução e camadas de piscina max e uma camada de FC com 256 neurónios escondidos

— traço Abhisek

Ao não alterar os pesos das camadas convolucionais de uma CNN, você está essencialmente alimentando os recursos aleatórios do seu classificador (a camada totalmente conectada) (ou seja, não os recursos ideais para a tarefa de classificação em questão).

O MNIST é uma tarefa fácil de classificação de imagens que você pode alimentar os pixels de entrada para um classificador sem nenhuma extração de recurso e ainda será pontuada nos anos 90. Além disso, talvez as camadas de pool ajudem um pouco ...

Tente treinar um MLP (sem as camadas conv / pool) na imagem de entrada e veja como ele é classificado. Aqui está um exemplo em que um MLP (1 camada oculta e 1 camada de saída) atingiu 98 +% sem qualquer pré-processamento / extração de recursos.

— Djib2011
fonte