Converter entre formulários de normalização Unicode na linha de comando unix

No Unicode, algumas combinações de caracteres têm mais de uma representação.

Por exemplo, o caractere ä pode ser representado como

• "ä", ou seja, o ponto de código U + 00E4 (dois bytes c3 a4na codificação UTF-8) ou como
• "ä", ou seja, os dois pontos de código U + 0061 U + 0308 (três bytes 61 cc 88em UTF-8).

De acordo com o padrão Unicode, as duas representações são equivalentes, mas em diferentes "formas de normalização", consulte UAX # 15: Formulários de Normalização Unicode .

A caixa de ferramentas unix tem todos os tipos de ferramentas de transformação de texto: sed , tr , iconv , Perl. Como posso fazer uma conversão NF rápida e fácil na linha de comando?

Você pode usar o uconvutilitário da UTI . A normalização é alcançada através da transliteração ( -x).

$ uconv -x any-nfd <<<ä | hd
00000000  61 cc 88 0a                                       |a...|
00000004
$ uconv -x any-nfc <<<ä | hd
00000000  c3 a4 0a                                          |...|
00000003

No Debian, Ubuntu e outros derivados, uconvestá no libicu-devpacote. No Fedora, Red Hat e outros derivados, e nas portas BSD, está no icupacote.

O Python possui um unicodedatamódulo em sua biblioteca padrão, que permite converter representações Unicode através da unicodedata.normalize()função:

import unicodedata

s1 = 'Spicy Jalape\u00f1o'
s2 = 'Spicy Jalapen\u0303o'

t1 = unicodedata.normalize('NFC', s1)
t2 = unicodedata.normalize('NFC', s2)
print(t1 == t2) 
print(ascii(t1)) 

t3 = unicodedata.normalize('NFD', s1)
t4 = unicodedata.normalize('NFD', s2)
print(t3 == t4)
print(ascii(t3))

Executando com o Python 3.x:

$ python3 test.py
True
'Spicy Jalape\xf1o'
True
'Spicy Jalapen\u0303o'

O Python não é adequado para liners de shell um, mas isso pode ser feito se você não quiser criar um script externo:

$ python3 -c $'import unicodedata\nprint(unicodedata.normalize("NFC", "ääääää"))'
ääääää

Para o Python 2.x, você deve adicionar a linha de codificação ( # -*- coding: utf-8 -*-) e marcar as strings como Unicode com o caractere u:

$ python -c $'# -*- coding: utf-8 -*-\nimport unicodedata\nprint(unicodedata.normalize("NFC", u"ääääää"))'
ääääää

Verifique com a ferramenta hexdump:

echo  -e "ä\c" |hexdump -C 

00000000  61 cc 88                                          |a..|
00000003  

converta com iconv e verifique novamente com hexdump:

echo -e "ä\c" | iconv -f UTF-8-MAC -t UTF-8 |hexdump -C

00000000  c3 a4                                             |..|
00000002

printf '\xc3\xa4'
ä

Para completar, com perl:

$ perl -CSA -MUnicode::Normalize=NFD -e 'print NFD($_) for @ARGV' $'\ue1' | uconv -x name
\N{LATIN SMALL LETTER A}\N{COMBINING ACUTE ACCENT}
$ perl -CSA -MUnicode::Normalize=NFC -e 'print NFC($_) for @ARGV' $'a\u301' | uconv -x name
\N{LATIN SMALL LETTER A WITH ACUTE}

O coreutils possui um patch para obter o devido unorm. funciona bem para mim em wchars de 4 bytes. siga http://crashcourse.housegordon.org/coreutils-multibyte-support.html#unorm O problema restante existem sistemas wchar de 2 bytes (cygwin, windows, mais aix e solaris em 32 bits), que precisam transformar pontos de código da parte superior planos em pares substitutos e vice-versa, e o libunistring / gnulib subjacente ainda não pode lidar com isso.

O perl tem a unicharsferramenta, que também executa as várias formas de normalização no cmdline. http://search.cpan.org/dist/Unicode-Tussle/script/unichars

Existe um utilitário perl chamado Charlint disponível em

https://www.w3.org/International/charlint/

o que faz o que você quer. Você também terá que baixar um arquivo de

ftp://ftp.unicode.org/Public/UNIDATA/UnicodeData.txt

Após a primeira execução, você verá Charlint reclamando de entradas incompatíveis nesse arquivo, e precisará excluir essas linhas do UnicodeData.txt.