Isso é muito amplo, mas aqui está um esforço para responder ao que acho que você está perguntando. A seguir, há mais informações sobre a resposta de Jeremy acima.
Suponho que você esteja perguntando sobre a priorização do tráfego com base em aspectos específicos dos protocolos de controle da camada de aplicativos (btw, uso terminologia TCP / IP em vez de OSI ao discutir TCP / IP porque IMO, o modelo OSI também não é mapeado para TCP / IP como se pode pensar --- por exemplo, tente entender como o H.323 se encaixa no modelo, como originalmente projetado e quando sobre TCP / IP).
Como um exemplo simples, talvez você queira priorizar solicitações TFTP para inicialização PXE em relação a outras solicitações TFTP, ou talvez queira priorizar a sinalização H.323 de alguns tipos em detrimento de outros.
Para fazer isso, você precisa de roteadores ou similares que possam entender os protocolos nos quais deseja modelar o tráfego. Esses roteadores precisam ser capazes de inspecionar os pacotes profundamente, pelo menos quando necessário, e modelar o tráfego com base no que encontrarem. Escusado será dizer que diferentes protocolos de aplicação terão diferentes requisitos e possibilidades.
Por esse motivo, depende da plataforma, do protocolo e do que você deseja realizar. Como outros observaram, vários fornecedores têm kits de ferramentas para isso, mas para realmente responder ao que está envolvido, precisamos de muito mais informações sobre o tráfego que você possui, qual problema está solucionando e quais ferramentas você já tem disponível.