Eu estive contornando isso marcando o item que quero antialias com uma borda de 5 pixels. Em seguida, preencho a área transparente com uma cor diferente do item que estou modificando, mas defino a opacidade de preenchimento como 1. Mantenha a caixa atual selecionada e faça o filtro antialias. Em seguida, use a ferramenta de seleção difusa (com limite definido como 0) e selecione a área de preenchimento, que deve selecionar tudo até a nova parte de antialias. Em seguida, exclua sua seleção.
Para mim, eu tinha fundos de cores sólidas. Então, eu escolheria a cor de fundo, ajustaria a saturação ou o valor em 1 no seletor de cores e preencheria a área transparente com essa cor. Isso força as antialias a usar uma cor transparente quase do mesmo valor quando faz os cálculos, por isso é como se você estivesse antialias com transparência total (quase).
Percebi que isso funciona bem com preto ou branco (opacidade 1) como cor de preenchimento, mas ajusta ligeiramente as antialias para serem mais claras ou mais escuras do que a cor do item. Não é grande coisa, mas o efeito é mais limpo se você usar uma cor de preenchimento mais próxima da cor da borda do item.
Da mesma forma, se você usar uma cor de preenchimento vermelho em torno de uma cor não vermelha (azul / verde / etc), as antialias usarão a cor vermelha quando aplicar as antialias. O que geralmente é indesejável.