O uso do termo assinatura no RFC é análogo a uma assinatura digital em criptografia assimétrica. Na criptografia assimétrica, se o remetente criptografar uma mensagem com sua chave privada, qualquer pessoa que possua a mensagem poderá descriptografá-la com a chave pública do remetente. Portanto, o objetivo com o termo assinatura não é manter uma mensagem em segredo, mas verificar a integridade / remetente da mensagem, que não foi alterada.
No caso de JWTs, o sistema de envio é o criador e consumidor da mensagem (veja o diagrama abaixo), e o objetivo é garantir que o token passado ao usuário não seja violado (por exemplo, privilégios elevados).
E como o @Robert mencionou, os JWTs podem / ainda devem ser criptografados com TLS.
Aqui está uma boa explicação das JWTs e assinaturas das quais a imagem abaixo é originária. 5 etapas fáceis para entender JSON Web Tokens (JWT)