Não é uma resposta totalmente da GUI, mas você pode facilitar o procedimento usando uma abordagem do Finder + Terminal + Drag'n'drop, ou seja, considerando que você tem uma janela de terminal aberta e uma janela do Finder que não se sobrepõe:
- digite
rm -rf
o terminal (com um espaço à direita).
- Arraste a pasta necessária do Finder para a janela do terminal e pressione Enter.
Dica : para remover a pasta atual no Finder, arraste o ícone azul na barra de título do Finder. Isso também funcionará com janelas do editor de texto ou qualquer aplicativo OSX que tenha uma barra de título normal exibindo o caminho ou o nome do arquivo atual.
Dica2 : se você estiver arrastando o arquivo / pasta de uma janela que se sobrepõe à janela do Terminal, arraste o arquivo para o ícone do Terminal no dock, aguarde até que as janelas do Terminal sejam exibidas e continue arrastando para a que você precisa.