Você não pode adicionar suas próprias extensões ao RDS, pelo menos não as que exigem direitos de superusuário (como qualquer coisa com código C). Essa é uma das desvantagens que você aceita em troca de um gerenciamento conveniente.
Se a extensão incluir apenas funções simples plpgsql e sql, você poderá adicionar as funções manualmente. Isso não é possível com qualquer coisa que exija privilégios de superusuário, incluindo qualquer extensão com código C.
O jsonbx adiciona funções e operadores. A fonte contém código C , portanto, não há como você carregar isso no RDS. Sempre. Em absoluto. O RDS não permite que você execute nada que possa lhe dar acesso de superusuário ou acesso à VM subjacente na qual o PostgreSQL executa, nem fornece uma maneira de fazer upload de extensões, mesmo que isso permita que você as carregue.
Você precisará mudar para a execução de um servidor PostgreSQL independente (por exemplo, no EC2), convencer o suporte da Amazon a disponibilizar a extensão como parte de seu conjunto de extensões suportado ou ficar sem ele.