Menos cores + 100% de pontilhado + sem pontilhado de transparência = tamanho maior.
Adicionar um pontilhamento de transparência ou reduzir o pontilhamento da cor para menos de 100% provavelmente reduzirá o tamanho do arquivo.
Quando você reduz a tabela de cores e tem uma configuração de pontilhamento alto, solicita ao Photoshop que pontilhe com menos cores. Na verdade, isso cria mais dados de cores para manter de um quadro para outro, aumentando assim o tamanho do arquivo. O fato de sua animação ter 157 quadros com 100% de pontilhamento não me surpreenderia se o tamanho do arquivo quadruplicasse devido à configuração de pontilhamento.
Se você estiver realmente interessado em reduzir o tamanho do arquivo, precisará remover pelo menos metade desses quadros. Isso é especialmente verdadeiro se as alterações de imagem entre os quadros estiverem presentes para todos os 157 quadros. Você simplesmente não pode espremer uma baleia azul em uma lata de atum.