Estou tentando implementar um modelo DQL em um jogo da academia openAI. Mas está me dando o seguinte erro.
TypeError: len não está bem definido para tensores simbólicos. (activation_3 / Identidade: 0) Por favor, ligue
x.shape
, em vez delen(x)
para a informação da forma.
Criando um ambiente de academia:
ENV_NAME = 'CartPole-v0'
env = gym.make(ENV_NAME)
np.random.seed(123)
env.seed(123)
nb_actions = env.action_space.n
Meu modelo fica assim:
model = Sequential()
model.add(Flatten(input_shape=(1,) + env.observation_space.shape))
model.add(Dense(16))
model.add(Activation('relu'))
model.add(Dense(nb_actions))
model.add(Activation('linear'))
print(model.summary())
Ajustando esse modelo ao modelo DQN de keral-rl, da seguinte maneira:
policy = EpsGreedyQPolicy()
memory = SequentialMemory(limit=50000, window_length=1)
dqn = DQNAgent(model=model, nb_actions=nb_actions, memory=memory, nb_steps_warmup=10, target_model_update=0.001, policy=policy)
dqn.compile(Adam(lr=1e-3), metrics=['mse', 'mae'])
dqn.fit(env, nb_steps=5000, visualize=False, verbose=3)
O erro é desta linha:
dqn = DQNAgent(model=model, nb_actions=nb_actions, memory=memory, nb_steps_warmup=10, target_model_update=0.001, policy=policy)
Estou usando o keras-rl == 0.4.2 e tensorflow == 2.1.0. Com base em outras respostas, também tentei o tensorflow == 2.0.0-beta0, mas isso não resolve o erro.
Alguém pode me explicar por que estou enfrentando esse erro? e como resolver isso?
Obrigado.
env
é um ambiente de jogo de ginástica para o treinamento do modelo RL. len
está ocorrendo em algum lugar da biblioteca TensorFlow. Atualizei a pergunta para obter mais detalhes.
env
? Onde estálen
ocorrendo? Ou isso faz parte dos retornos de chamada?