Eu preciso definir --no-desktop via gconf para nautilus, eu uso o OpenBox. Eu costumava definir assim
# Disable Nautilus desktop.
gconftool-2 -s -t bool /apps/nautilus/preferences/show_desktop false &
# Do not let Nautilus set the background image.
gconftool-2 -s -t bool /desktop/gnome/background/draw_background false &
No entanto, acho que isso não funciona no Ubuntu 11.10. Algo mudou no gconf? Pode ter algo a ver com Gsettings? Nesse meio tempo, acabei de adicionar --no-desktop aos meus atalhos .desktop. Esta não é uma solução sólida a longo prazo para mim, por algumas razões. Sempre que você atualizar o pacote nautilus, essas alterações serão substituídas. Muito mais importante, qualquer coisa que inicie o nautilus de outra maneira não usará --no-desktop. Se alguém pode ajudar seria muito apreciado.
BTW: O gconf-editor me deixou ver minhas configurações, mas nenhum esquema para o nautilus existia.