O que estou vendo ( http://en.wikipedia.org/wiki/RAR ) diz que os arquivos no formato RAR3 usam AES para o algoritmo de criptografia. Não está claro para mim, à primeira vista, se o formato do arquivo RAR3 foi publicado ou se há implementações de código aberto do algoritmo de descriptografia / descompactação. Se o formato não for publicado / ou não houver implementações gratuitas do algoritmo de descriptografia / descompactação, acho que ficaria muito cauteloso com a "segurança", pois sempre há a possibilidade de truques como colocar um texto simples conhecido no cabeçalho de todos os arquivos criptografados, pedaços vazados da chave etc. podem estar em jogo.
Os formatos RAR mais antigos usavam um "algoritmo de criptografia proprietário". Você deve sempre ter muito cuidado com os programas que usam "algoritmos de criptografia proprietários". A frase "algoritmo de criptografia proprietário" é frequentemente o código para "algo batido em um porão por um codificador que realmente não sabe muito sobre criptografia", ou mais vagamente como "não foi revisado por pares".
Edit: Estou vendo o que parecem ser implementações gratuitas de pelo menos a parte de descompactação do RAR3 ( http://sourceforge.net/projects/java-unrar , por exemplo). Enquanto o formato do arquivo estiver aberto, deve ser difícil vazar uma grande quantidade de bits da sua chave por uma implementação não confiável. Ainda assim, me sentiria melhor com algo que foi revisado ou certificado por pares (FIPS, etc.).