Se você apenas precisar remover a última cor definida, o seguinte poderá lhe agradar.
Na minha situação, eu precisava adicionar uma classe de cores à tag body em um evento de clique e remover a última cor definida. Nesse caso, você armazena a cor atual e procura a etiqueta de dados para remover a última cor definida.
Código:
var colorID = 'Whatever your new color is';
var bodyTag = $('body');
var prevColor = bodyTag.data('currentColor'); // get current color
bodyTag.removeClass(prevColor);
bodyTag.addClass(colorID);
bodyTag.data('currentColor',colorID); // set the new color as current
Pode não ser exatamente o que você precisa, mas para mim foi e essa foi a primeira pergunta do SO que eu olhei, então pensei em compartilhar minha solução caso isso ajude alguém.