Limitar portas vinculadas pelo usuário a intervalos arbitrários

É possível permitir que o usuário ligue apenas determinadas portas?
Por exemplo, eu estava tentando conseguir isso:

• user1: pode ligar apenas nas portas 4001 e 4002
• user2: pode ligar apenas nas portas 5001 e 5002
• e assim por diante...

Procurei uma solução por um longo tempo usando o SElinux ou o apparmor, mas nada parece funcionar, pois essas ferramentas só podem definir regras para determinados executáveis ​​(corrija-me se estiver errado).