O Java Runtime Environment (JRE) e o Java SDK não são inerentemente inseguros. O problema depende, em grande parte, de certas maneiras que a JVM (Java Virtual Machine) acessa (e pode ser enganada) determinadas partes do sistema operacional.
Como qualquer outro software complexo, Java não é diferente de, digamos, .NET em uma máquina Windows ou Mono.NET em qualquer sabor.
Java em um navegador, no entanto, é um mundo diferente (e, portanto, por que você pode desativá-lo na maioria dos navegadores modernos), semelhante (mas não tão ruim quanto) ao que o ActiveX estava nos dias do Internet Explorer.
Você pode ter o JRE com segurança em sua máquina Macintosh, Linux ou Windows com pouco perigo, pois nenhum elemento do Java RE ou SDK irá expor vulnerabilidades remotas por padrão. É apenas um monte de código no seu disco rígido.
Agora, se você quiser saber se a execução de um software Java não é segura, não há como responder a isso sem mergulhar em enormes argumentos. Se você deseja executar o Java Software, basta ir ao Oracle, fazer o download do ambiente de tempo de execução e executar o programa Java. Por padrão, ele não será ativado no Safari (mas verifique com certeza) ou em qualquer outro navegador.
Com tudo isso dito, o Java é irritante (especialmente o atualizador, que você pode diminuir ou desabilitar, mas nunca deixa de ser tão irritante ou, às vezes, mais do que o Flash Updater, se você tiver o Flash). Por outro lado, a Oracle finalmente começou a lançar atualizações mais periódicas ao Java, para que as vulnerabilidades sejam tratadas com mais frequência (o que é irritante, mas bom). Quando a Apple estava no controle do SDK, esse não era o caso.
Certamente, alguns "especialistas em segurança" gritam alto que o Java no seu disco rígido pode levar a mais insegurança, já que alguém obtém acesso ao seu computador e pode explorar as vulnerabilidades locais do Java. Confie em mim, se alguém obtiver acesso ao seu computador (mesmo remoto) até o ponto em que possa executar qualquer coisa (incluindo Java), você terá um problema maior.
Então, se você precisar, vá em frente e pegue.