Você não pode baixar a carga até zero, mas quase ...
Se você tentar este comando SQL:
alter DATABASE myDB modify (EDITION = 'Basic')
ou
alter DATABASE myDB modify (EDITION = 'Standard', SERVICE_OBJECTIVE = 'S0', MAXSIZE = 10 gb)
então, seu custo pode cair para algo como 5 dólares por mês (dependendo do tamanho do seu banco de dados).
Quando você voltar a trabalhar em seu banco de dados, você só precisa executar
alter DATABASE myDB modify (EDITION = 'Standard', SERVICE_OBJECTIVE = 'S2', MAXSIZE = 10 gb)
e tudo voltará ao normal, após alguns minutos.
Se você tiver mais de um banco de dados, poderá usar a opção Elastic Pool para reduzir também o seu custo total.