Você realmente precisa que o resultado esteja ""no caso falso? Se você só precisa do celular para olhar em branco (por exemplo, você não vai usar algo como =ISNUMBER()sobre isso mais tarde), você pode usar a formatação condicional para ocultar o conteúdo do falso caso.
O formato condicional que você aplicará à célula para que ela não exiba nada é o formato personalizado "", como este (está em português, mas você entendeu):

A fórmula na célula será, como esperado, simplesmente =!X!+A1.
A fórmula de formatação condicional poderia ser =!X!=0, mas isso forçaria o recálculo de !X!, o que você não deseja (seu "Ponto 2"). É melhor aproveitar a própria célula usando =B1=A1(supondo que nossa célula seja B1 ) - isso implicaria !X! = 0.
Mesmo que você precise que o conteúdo da célula seja realmente "", geralmente pequenas alterações podem ser feitas na planilha para que essa abordagem possa ser usada. Se for esse o caso, deixe um comentário descrevendo a situação.
To reduce the process time, obviamente, precisará armazenar o resultado em algum lugar; caso contrário, o Excel precisará recalcular o valor novamente quando a condição corresponder. Divisão também é uma operação muito custosa