Se você já foi mordido por uma atualização de plug-in que quebrou algumas funcionalidades, deve ter pensado um pouco sobre esse problema: Qual deve ser a política de atualização de plug-ins Jenkins? Como você testa as alterações antes de implantá-las?
Alguém chegou ao ponto de ter uma instância de teste executando trabalhos fictícios para testar as novas versões ou você apenas reza para que a atualização das versões não danifique nada?