Não posso ter certeza no vmware, mas ao usar o kvm, diminuir a memória de uma máquina virtual em execução funciona bem. Claro que até um limite, mas o software irá lhe dizer. Quando você diminui, a memória na máquina virtual diminui gradualmente, até que não possa mais ser reduzida. Se você definir a memória como mais baixa do que onde parou, será necessário reiniciar a máquina virtual para diminuí-la completamente.
Recentemente, fiz isso em um sistema executando o kvm com cerca de 20 máquinas virtuais, onde alguém julgou sensato comprometer demais a memória, fazendo com que algumas máquinas virtuais rodassem em troca (doh!). Para corrigi-lo, reduzi a memória em cerca de 20-40% de 2/3 das máquinas virtuais e a maioria conseguiu reduzi-la completamente durante a execução. Alguns precisavam de uma reinicialização para que a nova configuração de memória entrasse em vigor completamente.
A partir disso, eu assumiria que uma máquina virtual vmware também poderia permitir esse comportamento. No entanto, um teste rápido no vmware player me diz que será necessário reiniciar (o software vmware mais sofisticado pode se comportar melhor). Caso contrário, é seguro fazê-lo em um sistema em execução. Obviamente, se a quantidade de memória restante é suficiente para executá-la corretamente é outra questão.