O firewall não pode controlar quais URLs HTTPS o cliente está tentando acessar, porque a URL está criptografada. O firewall pode controlar apenas em quais sites o cliente está se conectando, usando endereços IP, mas isso não ajuda se as versões HTTP e HTTPS do site estiverem na mesma URL (e mesmo se não estiverem, você teria para manter uma enorme lista de endereços IP).
A única maneira realista de bloquear o HTTPS é bloqueá-lo completamente. Insista para que todas as conexões sejam HTTP válidas (ou seja, o cliente começa enviando uma HTTP
linha e assim por diante). Isso não pode ser feito apenas com IPtables, você precisa de um proxy com reconhecimento de protocolo, como o Squid. (Não sei do que o Untangle Lite é capaz.)
Você pode bloquear a maioria do tráfego HTTPS bloqueando o tráfego de saída para a porta 443, pois quase todos os servidores HTTPS estão nessa porta. Ou, seguindo uma abordagem da lista de permissões, permita apenas o tráfego de saída na porta 80 (a porta HTTP normal).
Uma abordagem diferente seria fazer proxy de todas as conexões HTTP e HTTPS. Em seguida, você pode corresponder por URLs. Isso requer a realização de um ataque man-in-the-middle aos clientes. Você pode fazer isso se implantar sua própria autoridade de certificação em todas as máquinas clientes e registrá-la como uma raiz de confiança. Isso pode ser considerado antiético.
Não importa o que você faça, determinados usuários configuram um proxy fora do seu ambiente e executam o IP sobre HTTP ou algo assim.
Parece que você está tentando corrigir um problema social com meios técnicos, o que quase nunca funciona, ou está fazendo o possível para implementar um requisito bobo do gerenciamento (nesse caso, eu iria bloquear a porta 443, talvez apenas para determinados IPs, o que permitiria que você informasse que fez seu trabalho, por mais inútil que seja).