O problema é que eu quero limitar (grupo de) usuários a quantidade específica de dados no subvolume sem mexer com cotas, etc. - No momento eu apenas dou a eles acesso a um volume lógico LVM, e tudo funciona bem. Talvez eu esteja pensando em usar um recurso errado do BTRFS, já que eu não sou um especialista do BTRFS ... Vou reformular a pergunta e remover o "subvolume" dela.
Eu acredito que você é overengineering isso.
Eu não estou completamente familiarizado com o Btrfs, mas acredito que eu esteja familiarizado o bastante com o ZFS, do qual o Btrfs tem inspirado muito para fazer cara e coroa disso.
Em ambos, você trabalha com um blob de armazenamento, que é subdividido em sistemas de arquivos que podem ter várias propriedades configuradas. Por exemplo, cotas para o sistema de arquivos . O Btrfs chama isso de "subvolumes".
Basta criar um subvolume, definir a cota para o quanto você quiser que seja possível aumentar (semelhante ao tamanho do volume lógico do LVM), e se tudo estiver configurado para suportar cotas no Btrfs, faça algo como btrfs qgroup limit 1G <path>/<subvolume>
. Vejo a página de casos de uso do btrfs Wiki sobre a implementação de cotas para mais alguns detalhes sobre o que fazer se isso não funcionar imediatamente.