Respostas:
Existem vários algoritmos para executar a suavização de serrilhado. Eu acho que o que você quer dizer é chamado de super amostragem. A idéia é que a cena seja renderizada em uma resolução x8 do que você verá eventualmente. Em seguida, é filtrado em passa-baixo, para eliminar o alias de frequências mais altas na próxima etapa, que é a amostragem reduzida x8.
Isso é descrito em detalhes aqui .
Há uma discussão mais geral dos algoritmos de AA aqui e outro tipo de algoritmo de AA chamado Multisample AA aqui .