Em suma, a resposta é sim, você precisa de um visto separado para a Bielorrússia. Seu visto de estudante russo não permite a entrada na Bielorrússia.
A razão pela qual ele tem os nomes dos dois países é porque a forma que eles usam é exatamente a mesma. Da embaixada dos EUA em Moscou :
Embora a Rússia e a Bielorrússia usem o mesmo cartão de migração, os viajantes devem estar cientes de que cada país mantém seu próprio regime de vistos. Os cidadãos dos EUA que desejam viajar para os dois países devem solicitar dois vistos separados. Não é necessário que um viajante que entre na Rússia diretamente da Bielorrússia obtenha um novo cartão de migração, mas pode fazê-lo se houver cartões em branco disponíveis no momento da entrada.