A resposta é que "muitas tecnologias são adotadas por razões históricas ou sócio-políticas arbitrárias, e não por razões técnicas". A melhor solução para um determinado problema nem sempre se torna a tecnologia dominante. (De fato, raramente acontece.)
Em 2012, onde os servidores HTTP estão sendo usados para criar aplicativos interativos, a par dos aplicativos Desktop, a comparação entre HTTP e X é interessante. Em retrospectiva, o X é provavelmente uma tecnologia melhor para desenvolver aplicativos ricos e interativos implantados em rede. Os aplicativos interativos do tipo área de trabalho não são bem mapeados para uma tecnologia sem estado e orientada a documentos como HTTP, e essa incompatibilidade historicamente resultou em todo tipo de solução alternativa (hacks) para criar estado, como cookies, sessões etc.
Mas o objetivo original do HTTP não era desenvolver aplicativos stateful do tipo Desktop. Era para recuperar documentos e exibir informações - informações que podiam ser vinculadas a outros documentos que também podiam ser exibidos instantaneamente. A idéia de uma coleção vinculada de documentos remonta aos anos 1960 com o " Projeto Xanadu " de Theodore Nelson . A Web deveria ser uma implementação do conceito de hipertexto de Nelson , que era uma tentativa de informatizar a página impressa - como a enciclopédia ou o jornal - permitindo ao usuário "pular" instantaneamente de um artigo para outro com um único clique.
Muitas iterações dessa idéia surgiram e desapareceram, como o Hypercard da Apple , que implementou o conceito de hipertexto / hiperlinks, mas nunca foi implantado em redes. A World Wide Web foi a implementação do conceito de hipertexto baseada em rede do CERN e provavelmente decolou porque Tim Berners-Lee lançou sua biblioteca de códigos do navegador gratuitamente, permitindo que outros experimentassem. Isso acabou levando ao navegador Mosaic de Marc Andreesen, o antecessor do Netscape. E o resto é história.
Mas ... como em tantas tecnologias, começaram a surgir novas possibilidades que os designers originais de HTTP ou hipertexto não pensavam muito. A web tornou-se comercializada e as pessoas começaram a desenvolver sites que apresentavam interatividade estável, como carrinhos de compras e logins. Tornou-se cada vez mais evidente que a natureza do HTTP sem estado e orientada a documentos não era muito adequada para aplicativos do tipo Desktop. Mas naquele momento, era tarde demais. Todo mundo já estava usando HTTP. Então, aqui estamos hoje, com vários aplicativos AJAX hacky tentando ao máximo fingir que são aplicativos de área de trabalho.