Respostas:
Se o canal alfa for adicionado, você não poderá usar o Filtro de Canto Redondo.
Para remover o canal alfa, use Camada -> Transparência -> Remover canal alfa
Eu resolvi isso. Se você encontrar o problema, verifique a extensão do arquivo. Parece que o filtro redondo não funciona com imagens PNG, mesmo se não houver transparência. Quando carreguei o JPG, funcionou bem.
Alguns filtros não funcionam em imagens baseadas em paletes. Verifique se a imagem possui profundidade de cor de 24 bits em vez de algo como 8 bits (lembre-se de que alguns formatos, como PNG, podem suportar imagens com base em paletes de 1, 2, 4 ou 8 bits, bem como imagens de 24 bits RGB).