Darei aqui o tipo de resposta que geralmente não gosto de ler, mas acho que, como há outras respostas dizendo como conseguir o que você quer, seria bom repensar se o que você está tentando conseguir é realmente uma boa ideia.
Primeiro, você deve pensar se é uma boa ideia mostrar os itens de uma forma não padronizada, com um caractere separador diferente do fornecido.
Não sei os motivos para isso, mas vamos supor que você tenha bons motivos.
As formas aqui propostas de conseguir que consistam em adicionar conteúdo à sua marcação, principalmente através do CSS: antes da pseudoclasse. Este conteúdo está realmente modificando sua estrutura DOM, adicionando esses itens a ela.
Ao usar a numeração "ol" padrão, você terá um conteúdo renderizado no qual o texto "li" é selecionável, mas o número anterior não é selecionável. Ou seja, o sistema de numeração padrão parece ser mais "decoração" do que conteúdo real. Se você adicionar conteúdo para números usando, por exemplo, aqueles métodos ": before", este conteúdo será selecionável e devido a isso, realizando problemas indesejados de vopy / paste ou problemas de acessibilidade com leitores de tela que lerão este "novo" conteúdo adicional ao sistema de numeração padrão.
Talvez outra abordagem pudesse ser estilizar os números usando imagens, embora essa alternativa traga seus próprios problemas (números não exibidos quando as imagens são desativadas, tamanho do texto para número não muda, ...).
De qualquer forma, a razão dessa resposta não é apenas propor essa alternativa de "imagens", mas fazer as pessoas pensarem nas consequências de tentar mudar o sistema de numeração padrão para listas ordenadas.