Também tive sorte em usar o plug-in QGIS Generalizer (ativar plugins experimentais) e depois:
Vector > Geometry Tools > Polygons to lines
Em seguida, use o plugin Generalizer para suavizar as linhas e vértices
Plugins > Generalizer > Generalizer
Algorithm: "Chaiken's Algorithm"
Em seguida, vire as linhas novamente em polígonos
Vector > Geometry Tools > Polygons to lines
Isso faz um trabalho melhor, na verdade, suavizando as linhas e arredondando os cantos. É um pouco desajeitado ter que alternar entre linhas e polys, mas funciona. Sei que também há maneiras de fazer isso via Grass, mas achei difícil configurá-las.