Até onde eu sei, ao adotar a descida do gradiente estocástico como algoritmo de aprendizado, alguém usa 'época' para o conjunto de dados completo e 'lote' para dados usados em uma única etapa de atualização, enquanto outro usa 'lote' e 'minibatch' respectivamente, e os outros usam 'época' e 'minibatch'. Isso traz muita confusão ao discutir.
Então, qual é o ditado correto? Ou são apenas dialetos que são aceitáveis?
Respostas:
Uma época normalmente significa que seu algoritmo vê todas as instâncias de treinamento uma vez. Agora, supondo que você tenha instâncias de treinamento:
Se você executar a atualização em lote, toda atualização de parâmetro exigirá que seu algoritmo veja cada uma das instâncias de treinamento exatamente uma vez, ou seja, toda época em que seus parâmetros são atualizados uma vez.
Se você executar a atualização em mini-lote com tamanho de lote = , toda atualização de parâmetro exigirá que seu algoritmo veja b de n instâncias de treinamento, ou seja, toda época em que seus parâmetros são atualizados aproximadamente n / b vezes.
"Época" geralmente significa expor um algoritmo de aprendizado a todo o conjunto de dados de treinamento. Isso nem sempre faz sentido, pois às vezes geramos dados.
"Lote" e "Minibatch" podem ser confusos.
Às vezes, os exemplos de treinamento precisam ser "agrupados" porque nem todos os dados podem necessariamente ser expostos ao algoritmo de uma só vez (devido a restrições de memória geralmente).
No contexto do SGD, "Minibatch" significa que o gradiente é calculado em todo o lote antes de atualizar os pesos. Se você não estiver usando um "minibatch", todos os exemplos de treinamento em um "lote" atualizarão os parâmetros do algoritmo de aprendizado de forma independente.