Existem algumas respostas realmente boas aqui, apenas para complementá-las.
Uma grande força motriz por trás da renderização de software é a capacidade. Isso foi abordado em uma das respostas, mas vou fazer um ponto oposto: a renderização de software pode realmente ser mais capaz do que a renderização de hardware, e não menos.
Com o hardware, você geralmente se limita às capacidades do próprio hardware, embora o OpenGL para um seja capaz de emular por software muitas coisas que podem não existir no hardware. O que isso significa é que, se você tentar usar o Recurso X, mas o hardware não o suportar, uma das duas coisas acontecerá: você retornará à emulação de software (o cenário típico do OpenGL) ou não conseguirá use-o (o cenário típico do D3D).
Com a renderização do software, você mesmo pode escrever o código. Você consegue manipular as coisas e ter controle total sobre o que acontece até o nível de pixel. Para dar um exemplo de uma explosão do passado, o Quake implementou shaders de pixel em software em 1996, numa época em que as placas 3D (que não eram chamadas de "GPUs" na época)) mal podiam rasterizar algumas dezenas de triângulos texturizados.
Esse também é o caso das GPUs atuais, mas ainda existem partes significativas do pipeline gráfico expostas como funcionalidade fixa (ou mesmo nem expostas).
A renderização de software pode ser melhorada. É relativamente recente que vimos as configurações de várias GPUs se tornarem realmente viáveis, mas o software pode ser escalado em muitos núcleos de CPU em muitos servidores. Você pode ter farms de servidores inteiros dedicados a isso, e os farms de renderização profissionais ainda usarão a renderização de software.
O software pode expor diferentes paradigmas de renderização. O hardware atual está muito focado no paradigma triângulo / vértice / fragmento / rasterização; é um caso de escolher uma coisa e otimizá-la até que grite por misericórdia. As GPUs ainda são uma má escolha para, por exemplo, traçado de raios, que é mais comumente implementado em software.
É claro que quando se trata de uma comparação direta de maçãs para maçãs, uma GPU vence o software em qualquer dia da semana - desde que comparemos áreas em que as GPUs são mais fortes. Mas isso não quer dizer que eles sejam mais fortes em todas as áreas. Apesar disso, e para os fins deste site SE, o uso de hardware geralmente é o caminho a percorrer, mas esteja ciente de que existem casos de uso por aí em que o software também é viável.