A diferença entre mainline e stable é explicada aqui:
https://www.nginx.com/blog/nginx-1-6-1-7-released/
Um resumo gráfico:
Entre outras diferenças:
Observe que stable não significa mais confiável ou mais livre de erros. De fato, a linha principal é geralmente considerada mais confiável, porque portamos todas as correções de erros para ela, e não apenas as críticas, como para o ramo estável. Por outro lado, é improvável que as alterações na ramificação estável afetem os módulos de terceiros. Não assumimos o mesmo compromisso com a linha principal, em que novos recursos podem afetar a operação de módulos de terceiros.
Além disso:
Recomendamos que, em geral, você implante a ramificação da linha principal do NGINX o tempo todo.