Respostas:
A maioria das ferramentas GNU suporta o --
encerramento das opções.
rm -- -p
rm ./-p
A NOTE
seção na página de manual para rm
tem algo a dizer exatamente sobre isso. Além do que Ignacio Vazquez-Abrams mencionou na sua resposta, uma outra maneira de remover esses arquivos, como mencionado na página man, é usando uma referência de caminho absoluto, tais como: rm /home/user/-p
.