Neste tutorial está o código do site TensorFlow,

1. alguém poderia ajudar a explicar o que global_stepsignifica?

   Descobri no site do Tensorflow escrito que a etapa global é usada para contar as etapas de treinamento , mas não entendi exatamente o que isso significa.

2. Além disso, o que significa o número 0 durante a configuração global_step?

    def training(loss,learning_rate):
        tf.summary.scalar('loss',loss)
        optimizer = tf.train.GradientDescentOptimizer(learning_rate)
        
        # Why 0 as the first parameter of the global_step tf.Variable?
        global_step = tf.Variable(0, name='global_step',trainable=False)

        train_op = optimizer.minimize(loss, global_step=global_step)
    
        return train_op

De acordo com o documento do Tensorflow global_step: incremente em um depois que as variáveis ​​forem atualizadas . Isso significa que depois de uma atualização global_stepse torna 1?

global_steprefere-se ao número de lotes visto pelo gráfico. Cada vez que um lote é fornecido, os pesos são atualizados na direção que minimiza a perda. global_stepapenas mantém o controle do número de lotes vistos até agora. Quando é passado na minimize()lista de argumentos, a variável é aumentada em um. Dê uma olhada em optimizer.minimize().

Você pode obter o global_stepvalor usando tf.train.global_step(). Também úteis são os métodos utilitários tf.train.get_global_stepou tf.train.get_or_create_global_step.

0 é o valor inicial da etapa global neste contexto.

mostramos um exemplo vívido abaixo:

código:

train_op = tf.train.GradientDescentOptimizer(learning_rate=LEARNING_RATE).minimize(loss_tensor,global_step=tf.train.create_global_step())
with tf.Session() as sess:
    ...
    tf.logging.log_every_n(tf.logging.INFO,"np.mean(loss_evl)= %f at step %d",100,np.mean(loss_evl),sess.run(tf.train.get_global_step()))

impressão correspondente

INFO:tensorflow:np.mean(loss_evl)= 1.396970 at step 1
INFO:tensorflow:np.mean(loss_evl)= 1.221397 at step 101
INFO:tensorflow:np.mean(loss_evl)= 1.061688 at step 201

O global_step Variablecontém o número total de etapas durante o treinamento nas tarefas (cada índice de etapa ocorrerá apenas em uma única tarefa).

Uma linha do tempo criada por global_stepnos ajuda a entender onde estamos no grande esquema, de cada uma das tarefas separadamente. Por exemplo, a perda e a precisão podem ser comparadas global_stepno Tensorboard.

Existem redes, por exemplo, GANs, que podem precisar de duas (ou mais) etapas diferentes. Treinar um GANs com a especificação WGAN requer que os passos no discriminador (ou crítico) D sejam mais do que aqueles feitos no gerador G. Nesse caso, é útil declarar diferentes variáveis ​​globais_steps.

Exemplo: ( G_losse D_losssão a perda do gerador e do discriminador)

G_global_step = tf.Variable(0, name='G_global_step', trainable=False)
D_global_step = tf.Variable(0, name='D_global_step', trainable=False)

minimizer = tf.train.RMSPropOptimizer(learning_rate=0.00005)

G_solver = minimizer.minimize(G_loss, var_list=params, global_step=G_global_step)
D_solver = minimizer.minimize(D_loss, var_list=params, global_step=D_global_step)