Um usuário no fórum MacRumors criou um aplicativo para executar exatamente essa tarefa, localizar e excluir todas as fotos em uma pasta ou no rolo da câmera que não foram marcadas como favoritas.
O aplicativo é "Deleter" de saleksandras e está em: https://itunes.apple.com/us/app/deleter/id1180101544?ls=1&mt=8
Acabei de rodar o aplicativo e funcionou perfeitamente! Ele selecionou as 2.600 fotos no meu telefone que eu não tinha marcado como favoritas e ignorou as 600 que eu tinha favorecido. Quando clico em excluir, ele moveu todos os não favoritos do rolo da câmera para a pasta excluída recentemente (para que eu possa recuperá-los por 30 dias, se necessário). Demorou mais ou menos um minuto para excluir tudo, mas eram 9gb de fotos, então acho que pode ser justificado por isso :)
Foi um pouco estressante pressionar excluir nessas fotos, mas eu já havia feito o backup do rolo da câmera para o meu PC usando o aplicativo PhotoSync (outra ótima ferramenta), por isso não estava realmente preocupado.
Não sei por que a Apple não inclui uma ferramenta de seleção em massa para selecionar facilmente todas as fotos favoritas ou não, mas este aplicativo faz o trabalho!