Respostas:
A maioria das ferramentas GNU suporta o --encerramento das opções.
rm -- -p
rm ./-p
A NOTEseção na página de manual para rmtem algo a dizer exatamente sobre isso. Além do que Ignacio Vazquez-Abrams mencionou na sua resposta, uma outra maneira de remover esses arquivos, como mencionado na página man, é usando uma referência de caminho absoluto, tais como: rm /home/user/-p.