Sim, torna menos saboroso. Isso não significa necessariamente que é uma má ideia.
Muitas vezes, ainda será muito saboroso, mesmo com uma quantidade decente de gelo. Portanto, ao usar gelo, você poupa o trabalho de congelar alguns ingredientes primeiro e não passa a fruta tão rápido. Você pode evitar ter que manter o suco de frutas à mão.
Ele também permite controlar com muita facilidade exatamente o quão frio / gelado você deseja o smoothie. Se você mora em uma área quente, os smoothies com uma quantidade razoável de gelo são realmente muito bons - eles ficam frios por mais tempo, e a granulação gelada pode torná-los mais refrescantes.
Tenho certeza de que muitas pessoas nunca sonhariam em usar gelo e algumas o fazem o tempo todo; fique à vontade para continuar fazendo o que mais lhe convier! (Eu sou originalmente do Texas e, honestamente, além de misturar um pouco de gelo, costumava colocar cubos de gelo inteiros depois de misturar apenas para garantir que ficasse frio.)
Para uma comparação útil: muitas receitas realmente boas de sorvete usam uma quantidade razoável de água. Por exemplo, o sorvete de manga de David Lebovitz (de The Perfect Scoop) usa duas mangas grandes e 2/3 de xícara de água. Claro, ele poderia usar algum tipo de suco de frutas, mas eu prometo que realmente tem gosto de manga e não tem gosto de água.