Respostas:
Edit: Pensando bem, percebi que posso ter entendido mal a pergunta. Se você deseja que o diretório fique visível apenas para um usuário específico (ou seja, para todos os outros usuários, essa lista nem aparece na lista de diretórios), não é possível fazer isso sem proibir outros usuários de listar o conteúdo do diretório. Diretório Parental. Portanto, se o diretório for /foo/bar, você poderá remover a rpermissão /foo(para todos, exceto o proprietário), impedindo que outros usuários listem o conteúdo /foo, mas não será possível ocultar /foo/barespecificamente (embora certamente possa ocultar seu conteúdo).
Resposta antiga:
Torne esse usuário específico o proprietário do diretório e remova todas as permissões nesse diretório para todos, exceto o proprietário. No shell, você usaria chmodpara fazer isso:
chmod 700 the_directory
Se você estiver usando um gerenciador de arquivos, remova todas as marcas de seleção na guia permissões, exceto as da coluna "Usuário" (os detalhes exatos dependem do gerenciador de arquivos, é claro).
Se você preferir fazer isso a partir da GUI, isso é explicado na ajuda do navegador de arquivos GNOME (conhecido como Nautilus):
Basicamente, basta selecionar a pasta e, no menu, escolher Arquivo-> Propriedades-> Permissões.
Caso contrário, a resposta do sepp2k é absolutamente correta, e o link do txwikinger é ótimo se você estiver interessado em uma explicação detalhada das permissões de arquivo unix.
Este tutorial explica em todos os detalhes como definir permissões de arquivo no Linux (e, portanto, também no Ubuntu), para que você possa controlar o acesso.