Muitos fãs de servidor aceleram se a CPU esquentar, portanto, até certo ponto, isso depende de quão duro você trabalhará no servidor e qual a temperatura do escritório.
Se o armário tiver seu próprio resfriamento, existem muitas opções para isolá-lo; sem a sua própria CA ou ventilação externa, o armário deve ser ventilado para o escritório principal.
Minha experiência é que um armário bem construído, com parede de alfinetes e uma porta corta-fogo, é suficiente para fazer com que outras fontes de ruído em um escritório de plano aberto sejam mais preocupantes do que os servidores. Não me lembro de ter trabalhado em algum lugar em que o barulho da "sala do servidor" era mais um problema do que as pessoas que se reúnem em suas mesas ou longas ligações telefônicas.
Como você já possui os servidores, ficaria tentado a desempacotá-los com cuidado e ligá-los para ver como eles são. O som é muito difícil de prever, por exemplo, apenas colocar um tapete no armário do servidor pode ser uma grande diferença devido ao som que ele absorve.