A resposta para essa pergunta pode encher um livro.
Eu acho que uma das principais razões é que o desenvolvimento ágil se concentra na entrega. Ele sempre se concentra em fornecer exatamente o que é mais urgente aqui e agora.
Outro motivo é que as práticas de planejamento e estimativa baseadas em histórias que os processos ágeis seguem fornecem uma estimativa muito melhor do que pode ser entregue e quando.
Um bom exemplo de quão eficaz é o planejamento baseado em histórias é um projeto em que trabalhei. Por alguns meses (antes de adotarmos o desenvolvimento ágil), o líder do projeto acreditava que poderíamos entregar a tempo, e isso era cerca de 18 meses a partir do prazo final. Todos os desenvolvedores tinham a sensação de que isso provavelmente não era realista. Depois de iniciar o planejamento ágil, o líder do projeto ainda tinha uma avaliação otimista da situação. Mas somente após alguns sprints, o líder do projeto percebeu que a equipe simplesmente não tinha capacidade para entregar todos os requisitos no tempo esperado. E isso ainda faltava mais de 12 meses para o prazo final.
Portanto, práticas ágeis também tornam a realidade clara muito antes.
E, finalmente, as equipes ágeis tendem a adotar com mais frequência práticas que criam melhor qualidade de código, por exemplo, desenvolvimento orientado a testes, refatoração frequente, integração contínua, revisão de código por pares / programação de pares, etc. Não que os projetos tradicionais de software proíbam essas práticas, eles apenas tendem a não ser tanto em foco.