Supondo que seja um aquecedor do tipo tanque: o tanque vaza calor e, eventualmente, esfria o suficiente para que o termostato ligue o aquecedor. Se você não quer que isso aconteça, você precisará desligar explicitamente o aquecedor.
Mas você provavelmente deve desligar o aquecedor de água. Se não há água de entrada, você não pode realmente usá-lo (sem pressão de água), então você está apenas desperdiçando energia.
Não há problema em deixar o aquecedor funcionando SE estiver cheio de água (o que provavelmente é o caso). Por outro lado, se o problema com o encanamento for parcialmente drenado, ele DEVE ser desligado.
Desligá-lo até que seja necessário também economiza energia, é claro. Pelo menos isso não está acontecendo no meio do inverno, então não há risco aumentado de tubos congelados