Para ser honesto, eu me preocuparia mais se você estivesse produzindo imensas resmas de código e achando que tudo é perfeito e não precisa de refatoração ...
Quando eu era mais jovem e inexperiente, era muito arrogante em relação à minha capacidade de programação e sempre tendia a imaginar que é possível projetar e planejar muito bem - e que, quando eu chegar ao estágio de implementação, eu simplesmente darei um jeito nisso ' Tudo será perfeito.
A realidade é quase o oposto. Alguns até dizem que, assim que você começar a codificar, você deverá estar no modo Manutenção. A idéia aqui é que o estágio "Implementação" do SDLC realmente não existe como tal, porque você nunca deve deixar de lado a correção de erros ou a refatoração e fingir que o código que você está produzindo é "fresco" e perfeito.
Tudo o que disse, acho que é possível chegar muito obsessivo sobre refatoração. Ainda não o vi ainda. E quanto mais experiência eu tiver, mais acho que seria bom se mais equipes de software se recusassem a trabalhar com prazos apertados e se endividar. Afinal, esse é o motivo mais comum pelo qual a refatoração é deixada de lado no mundo real.