Você pode fazer isso com sudo update-alternatives:
# Adding a new alternative for "java".
sudo update-alternatives --install /usr/bin/java java /media/mydisk/jdk/bin/java 1
# Setting the new alternative as default for "java".
sudo update-alternatives --config java
Você também deve fazer isso para outros componentes do jdk. Estes componentes são appletviewer, extcheck, idlj, jar, jarsigner, java, javac, javadoc, javah, javap, javaws, jconsole, jdb, jexec, jhat, jinfo, jmap, jps, jrunscript, jsadebugd, jstack, jstat, jstatd, keytool, mozilla-javaplugin.so, native2ascii, orbd, pack200, policytool, rmic, rmid, rmiregistry, schemagen, serialver, servertool, tnameserv, unpack200, wsgen, wsimport, xjc.
Para mais informações, você pode ver as páginas man para update-alternatives: man update-alternatives.
O comando update-java-alternativesdefine alternativas para componentes java e parece ser usado update-alternativespara isso.
EDIT: A resposta acima tem como alvo o Java 6.
- Para o Java 7, você deve adicionar
jcmdà lista do Java 6.
- Para Java 8, você tem que adicionar
jcmd, jjse jdepsà lista de Java 6.
- Para Java 9, você tem que adicionar
jcmd, jjs, jdepse jshellà lista de Java 6.