Por que os pesquisadores de redes neurais se preocupam com épocas?

Uma época em descida de gradiente estocástico é definida como uma única passagem pelos dados. Para cada minibatch SGD, amostras são coletadas, o gradiente calculado e os parâmetros atualizados. Na configuração de época, as amostras são coletadas sem substituição.$k$

Mas isso parece desnecessário. Por que não desenhar cada minibatch do SGD como desenha aleatoriamente todo o conjunto de dados a cada iteração? Em um grande número de épocas, os pequenos desvios dos quais as amostras são vistas com mais ou menos frequência pareceriam sem importância.$k$

Além da resposta de Franck sobre aspectos práticos, e a resposta de David sobre a observação de pequenos subgrupos - os quais são pontos importantes - existem de fato algumas razões teóricas para preferir amostragem sem substituição. O motivo talvez esteja relacionado ao argumento de David (que é essencialmente o problema do colecionador de cupons ).

Em 2009, Léon Bottou comparou o desempenho da convergência em um problema específico de classificação de texto ( ).$n = 781,265$

Bottou (2009). Curiosamente rápida convergência de alguns algoritmos estocásticos de descida de gradiente . Anais do simpósio sobre aprendizado e ciência de dados. ( pdf do autor )

Ele treinou uma máquina de vetores de suporte via SGD com três abordagens:

• Aleatório : desenhe amostras aleatórias do conjunto de dados completo a cada iteração.
• Ciclo : embaralhe o conjunto de dados antes de iniciar o processo de aprendizado e passe por ele sequencialmente, para que em cada época você veja os exemplos na mesma ordem.
• Aleatório : reorganize o conjunto de dados antes de cada época, para que cada época ocorra em uma ordem diferente.

Ele examinou empiricamente a convergência , onde é a função de custo, os parâmetros na etapa da otimização, e a expectativa está acima do embaralhamento. de lotes atribuídos.C θ $\mathbb E[ C(\theta_t) - \min_\theta C(\theta) ]$$C$$\theta_t$$t$

• Para Random, a convergência foi aproximadamente da ordem de (conforme esperado pela teoria existente naquele momento).$t^{-1}$
• O ciclo obteve convergência na ordem de (com mas variando dependendo da permutação, por exemplo para sua Figura 1). α > $t^{-\alpha}$$\alpha > 1$$\alpha \approx 1.8$
• A reprodução aleatória foi mais caótica, mas a linha de melhor ajuste deu , muito mais rápido que Random.$t^{-2}$

Esta é a sua Figura 1 ilustrando que:

Isso foi posteriormente confirmado teoricamente pelo artigo:

Gürbüzbalaban, Ozdaglar e Parrilo (2015). Por que a reorganização aleatória é melhor que a descida estocástica do gradiente . arXiv: 1510.08560 . ( vídeo da palestra convidada no NIPS 2015 )

Sua prova se aplica apenas ao caso em que a função de perda é fortemente convexa, ou seja, não a redes neurais. É razoável esperar, no entanto, que raciocínios semelhantes possam se aplicar ao caso da rede neural (que é muito mais difícil de analisar).

De fato, é desnecessário do ponto de vista de desempenho com um grande conjunto de treinamento, mas o uso de épocas pode ser conveniente, por exemplo:

• fornece uma métrica bastante boa: "a rede neural foi treinada por 10 épocas" é uma afirmação mais clara do que "a rede neural foi treinada para 18942 iterações" ou "a rede neural foi treinada em 303072 amostras".
• há coisas aleatórias suficientes acontecendo durante a fase de treinamento: inicialização aleatória de peso, embaralhamento de mini lotes, desistência etc.
• é fácil de implementar
• evita pensar se o conjunto de treinamento é grande o suficiente para não ter épocas

[1] fornece mais um motivo, que não é tão relevante, dada a configuração atual do computador:

Como para qualquer método de descida de gradiente estocástico (incluindo o caso de mini-lote), é importante para a eficiência do estimador que cada exemplo ou minibatch seja amostrado aproximadamente independentemente. Como o acesso aleatório à memória (ou pior, ao disco) é caro, uma boa aproximação, denominada gradiente incremental (Bertsekas, 2010), é visitar os exemplos (ou minilotes) em uma ordem fixa correspondente à sua ordem na memória ou disco (repetindo os exemplos na mesma ordem em uma segunda época, se não estivermos no caso online puro em que cada exemplo é visitado apenas uma vez).Nesse contexto, é mais seguro se os exemplos ou mini-lotes forem primeiramente colocados em uma ordem aleatória (para garantir que seja esse o caso, pode ser útil primeiro embaralhar os exemplos). Uma convergência mais rápida foi observada se a ordem na qual os mini-lotes são visitados é alterada para cada época, o que pode ser razoavelmente eficiente se o conjunto de treinamento permanecer na memória do computador.

[1] Bengio, Yoshua. " Recomendações práticas para o treinamento baseado em gradiente de arquiteturas profundas. " Redes Neurais: Truques do comércio. Springer Berlin Heidelberg, 2012. 437-478.

Discordo um pouco que isso claramente não importa. Digamos que haja um milhão de exemplos de treinamento e coletamos dez milhões de amostras.

Em R, podemos ver rapidamente como é a distribuição

plot(dbinom(0:40, size = 10 * 1E6, prob = 1E-6), type = "h")

Alguns exemplos serão visitados mais de 20 vezes, enquanto 1% deles será visitado 3 ou menos vezes. Se o conjunto de treinamento foi escolhido com cuidado para representar a distribuição esperada de exemplos em dados reais, isso pode ter um impacto real em algumas áreas do conjunto de dados - especialmente quando você começa a dividir os dados em grupos menores.

Considere o caso recente em que um eleitor de Illinois efetivamente superou a amostra em 30x e mudou dramaticamente as estimativas do modelo para seu grupo demográfico (e, em menor grau, para toda a população dos EUA). Se acidentalmente amostrarmos imagens de "Ruffed Grouse" capturadas em fundos verdes em dias nublados com uma profundidade de campo estreita e subamostrar outros tipos de imagens de galo silvestre, o modelo poderá associar esses recursos irrelevantes ao rótulo da categoria. Quanto mais maneiras houver de dividir os dados, mais desses subgrupos existirão e mais oportunidades para esse tipo de erro haverá.