IMHO, se você planeja desenvolver apenas para 4.0, eu recomendaria ir com as bibliotecas nativas, pois o executável ficará menor. É verdade que você pode ter problemas de bugs nas versões anteriores, mas acho que a maioria delas deve ser bastante trivial para contornar. Além disso, a biblioteca de compatibilidade deve mapear para os fragmentos nativos, caso você esteja executando o 4.0 e superior. Portanto, você pode acabar tendo que enfrentar esse tipo de problema de qualquer maneira. O problema com as bibliotecas de suporte é que muitas classes aparecem 2x (uma vez na estrutura do pacote de suporte e outra na estrutura do pacote "nativo"), o que torna o desenvolvimento um pouco mais complicado.
No entanto, se você também deseja lançar seu aplicativo antes da 4.0, não há como contornar a biblioteca de suporte. Além disso, como existem cerca de 38% de todos os usuários no 2.3, pode fazer sentido para os negócios incluir essa versão do sistema operacional. Nesse caso, você pode usar a biblioteca de suporte em conjunto com o Jake Wartons ActionBarSherlock (ou com o Google suporta a biblioteca ActionBar depois que ela for lançada).