eu não testei sozinho, mas isso parece promissor:
http://www.alittlemadness.com/2008/03/05/running-selenium-headless/
vou tentar isso por mim mesmo.
EDIT:
finalmente tive tempo de testar por mim mesmo. Eu testei no suse, mas deve ser o mesmo para o ubuntu, exceto talvez nomes de pacotes e caminhos.
primeiro instale o pacote xvfb, no suse é chamado xorg-x11-Xvfb
inicie o xvfb em segundo plano com os parâmetros de exibição, tela e resolução:
/usr/X11R6/bin/Xvfb :15 -ac -screen 0 1024x768x8 &
altere suas configurações de exibição:
export DISPLAY=localhost:15.0
e inicie o seu selênio rc:
/opt/java/bin/java -jar selenium-server.jar > /var/log/se_rc_server.log 2>&1 &
você também pode iniciar o selenium rc com um testinguite especificado:
/opt/java/bin/java -jar selenium-server.jar -htmlSuite "*firefox3" "http://www.google.com" "/root/google.ts.html" "/root/google_report.html"