Sua afirmação de que você está melhor com um arquivo CSS maior está correta. Provavelmente, serão apenas alguns KB quando compactados e devem ser armazenados em cache, para que não haja uma sobrecarga enorme. Existem algumas coisas que vale a pena conferir.
Se algum CSS for usado apenas em uma página, talvez seja melhor colocar o CSS na página, em algumas tags de estilo. (Observação: isso pode dificultar a manutenção das coisas, principalmente quando você decide usar um estilo semelhante em outro lugar.)
Se você pegar suas páginas mais populares (por exemplo, as páginas que compõem mais de 50% de suas visualizações de página) e descobrir que apenas uma quantidade muito pequena de seu CSS está sendo usada nessas páginas, pode ser mais rápido para os usuários dividi-las em dois arquivos CSS. Agora, os novos usuários que visitam suas páginas mais populares têm muito menos para baixar. Em outras páginas, há uma solicitação HTTP extra, mas isso não é grande coisa.
Verifique se o seu CSS está bem otimizado. Evite seletores descendentes sempre que possível. Se o lado direito de um seletor for muito genérico, poderá diminuir o tempo de renderização. Por exemplo, .class div {}
seria um pouco lento porque o navegador precisa verificar todos os <div>
elementos da página e, em seguida, procure a árvore DOM no topo para encontrar (ou não) um elemento com a classe.