Slugification de string em Python

Estou em busca da melhor maneira de "slugify" string o que é "slug" , e minha solução atual é baseada nesta receita

Eu mudei um pouco para:

s = 'String to slugify'

slug = unicodedata.normalize('NFKD', s)
slug = slug.encode('ascii', 'ignore').lower()
slug = re.sub(r'[^a-z0-9]+', '-', slug).strip('-')
slug = re.sub(r'[-]+', '-', slug)

Alguém viu algum problema com este código? Está funcionando bem, mas talvez eu esteja faltando alguma coisa ou você conhece uma maneira melhor?

Existe um pacote python chamado python-slugify, que faz um bom trabalho de slugifying:

pip install python-slugify

Funciona assim:

from slugify import slugify

txt = "This is a test ---"
r = slugify(txt)
self.assertEquals(r, "this-is-a-test")

txt = "This -- is a ## test ---"
r = slugify(txt)
self.assertEquals(r, "this-is-a-test")

txt = 'C\'est déjà l\'été.'
r = slugify(txt)
self.assertEquals(r, "cest-deja-lete")

txt = 'Nín hǎo. Wǒ shì zhōng guó rén'
r = slugify(txt)
self.assertEquals(r, "nin-hao-wo-shi-zhong-guo-ren")

txt = 'Компьютер'
r = slugify(txt)
self.assertEquals(r, "kompiuter")

txt = 'jaja---lol-méméméoo--a'
r = slugify(txt)
self.assertEquals(r, "jaja-lol-mememeoo-a")

Veja mais exemplos

Este pacote faz um pouco mais do que o que você postou (dê uma olhada no código-fonte, é apenas um arquivo). O projeto ainda está ativo (foi atualizado 2 dias antes de eu responder originalmente, mais de sete anos depois (verificado pela última vez em 2020-06-30), ele ainda é atualizado).

cuidado : existe um segundo pacote, chamado slugify. Se você tiver os dois, poderá ter um problema, pois eles têm o mesmo nome para importação. O que acabou de ser nomeado slugifynão fez tudo o que eu verifiquei rapidamente: "Ich heiße"tornou - se "ich-heie"(deveria ser "ich-heisse"), portanto, certifique-se de escolher o certo ao usar pipou easy_install.

Instale o formulário unidecode aqui para suporte Unicode

pip instalar unidecode

# -*- coding: utf-8 -*-
import re
import unidecode

def slugify(text):
    text = unidecode.unidecode(text).lower()
    return re.sub(r'[\W_]+', '-', text)

text = u"My custom хелло ворлд"
print slugify(text)

>>> my-custom-khello-vorld

Existe um pacote python chamado awesome-slugify :

pip install awesome-slugify

Funciona assim:

from slugify import slugify

slugify('one kožušček')  # one-kozuscek

página github incrível-slugify

Funciona bem no Django , então não vejo por que não seria uma boa função slugify de propósito geral.

Você está tendo problemas com isso?

O problema é com a linha de normalização ASCII:

slug = unicodedata.normalize('NFKD', s)

É chamado de normalização Unicode, que não decompõe muitos caracteres em ascii. Por exemplo, retiraria caracteres não ascii das seguintes strings:

Mørdag -> mrdag
Æther -> ther

A melhor maneira de fazer isso é usar o módulo unidecode que tenta transliterar strings para ascii. Portanto, se você substituir a linha acima por:

import unidecode
slug = unidecode.unidecode(s)

Você obtém melhores resultados para as strings acima e também para muitos caracteres gregos e russos:

Mørdag -> mordag
Æther -> aether

def slugify(value):
    """
    Converts to lowercase, removes non-word characters (alphanumerics and
    underscores) and converts spaces to hyphens. Also strips leading and
    trailing whitespace.
    """
    value = unicodedata.normalize('NFKD', value).encode('ascii', 'ignore').decode('ascii')
    value = re.sub('[^\w\s-]', '', value).strip().lower()
    return mark_safe(re.sub('[-\s]+', '-', value))
slugify = allow_lazy(slugify, six.text_type)

Esta é a função slugify presente em django.utils.text. Deve ser suficiente para seus requisitos.

O unidecode é bom; no entanto, tenha cuidado: o unidecode é GPL. Se esta licença não se adequar, use esta

Algumas opções no GitHub:

1. https://github.com/dimka665/awesome-slugify
2. https://github.com/un33k/python-slugify
3. https://github.com/mozilla/unicode-slugify

Cada um oferece suporte a parâmetros ligeiramente diferentes para sua API, então você precisará dar uma olhada para descobrir o que prefere.

Em particular, preste atenção às diferentes opções que eles fornecem para lidar com caracteres não ASCII. Pydanny escreveu uma postagem de blog muito útil ilustrando algumas das diferenças de manipulação de Unicode nessas bibliotecas de slugify: http://www.pydanny.com/awesome-slugify-human-readable-url-slugs-from-any-string.html Esta postagem do blog está um pouco desatualizada porque o Mozilla unicode-slugifynão é mais específico do Django.

Observe também que atualmente awesome-slugifyé GPLv3, embora haja um problema aberto em que o autor diz que prefere lançar como MIT / BSD, mas não tem certeza da legalidade: https://github.com/dimka665/awesome-slugify/issues/ 24

Você pode considerar alterar a última linha para

slug=re.sub(r'--+',r'-',slug)

já que o padrão [-]+não é diferente de -+, e você realmente não se preocupa em combinar apenas um hífen, apenas dois ou mais.

Mas, é claro, isso é muito pequeno.

Outra opção é boltons.strutils.slugify. Boltons também tem algumas outras funções úteis e é distribuído sob BSDlicença.