VIKI já disse uma boa resposta. Estou adicionando mais informações. Ele costumava travar o host colab para mim também, antes de adicionar os wrappers np.array ().
# Need to call np.array() around pandas dataframes.
# This crashes the colab host from TF attempting a 32GB memory alloc when np.array() wrappers are not used around pandas dataframes.
# Wrapping also cures warning about "Failed to find data adapter that can handle input"
history = model.fit(x=np.array(tr_X), y=np.array(tr_Y), epochs=3, validation_data=(np.array(va_X), np.array(va_Y)), batch_size=batch_size, steps_per_epoch=spe, validation_freq=5)
Falha no host devido a problemas de falta de memória tem algo a ver com isso:
Explicação do gradiente denso de fluxo de tensor?