Convertendo um arquivo UTF-8 para ASCII (melhor esforço)

Eu tenho um arquivo em UTF-8 que contém textos em vários idiomas. Muitos são nomes de pessoas. Preciso convertê-lo para ASCII e preciso que o resultado pareça o mais decente possível.

Existem várias maneiras de abordar a conversão de uma codificação mais ampla para uma mais estreita. A transformação mais simples seria substituir todos os caracteres não ASCII por algum espaço reservado, como '_'. Se eu sei o idioma em que o arquivo está escrito, há possibilidades adicionais, como romanização.

Que ferramenta Unix ou biblioteca de linguagem de programação disponível no Unix pode me proporcionar uma conversão decente (com o melhor esforço) de UTF-8 para ASCII?

A maior parte do texto está em idiomas europeus, baseados no tipo latino.

konwert utf8-ascii

Ele fará a conversão de melhor esforço, dependendo das tabelas de conversão. Se você conhece aproximadamente o idioma de entrada, existem filtros específicos do idioma que fornecem melhores resultados, por exemplo

konwert utf8-xmetodo

é a conversão do esperanto na representação x-metodo,

konwert UTF8-tex

tentará fazer uma representação teocrática dos diacríticos, existem parâmetros específicos do idioma:

konwert UTF8-ascii/de

transliterará "ä" para "ae" (habitual para o alemão) em vez de simples "a"

konwert UTF8-ascii/rosyjski

usará regras polonesas para transliterar o russo, em vez das regras "do tipo inglês", etc ...

Isso funcionará para algumas coisas:

iconv -f utf-8 -t ascii//TRANSLIT

echo ĥéĺłœ π | iconv -f utf-8 -t ascii//TRANSLITretorna helloe ?. Quaisquer caracteres que iconvnão sabem como converter serão substituídos por pontos de interrogação.

iconvé POSIX, mas não sei se todos os sistemas têm a TRANSLITopção Funciona para mim no Linux. Além disso, a IGNOREopção descartará silenciosamente caracteres que não podem ser representados no conjunto de caracteres de destino (consulte man iconv_open).

Uma opção inferior, mas compatível com POSIX, é usar tr. Este comando substitui todos os pontos de código não ASCII por um ponto de interrogação. Ele lê texto UTF-8, um byte de cada vez. "É" pode ser substituído por E?ou ?, dependendo de ter sido codificado usando um acento combinado ou um caractere pré-composto.

echo café äëïöü | tr -d '\200-\277' | tr '\300-\377' '[?*]'

Esse exemplo retorna caf? ?????, usando caracteres pré-compostos.

experimentar uni2ascii -B input.txt >output.txt

uni2ascii

Eu tenho um arquivo em UTF-8 que contém [nomes de pessoas] em vários idiomas [que desejo converter para algo significativo em ASCII].

Você quer dizer que deseja converter os seguintes nomes em alguma string ASCII que a pessoa em questão não se oporia?

• ஸ்றீனிவாஸ ராமானுஜன் ஐயங்கார்
• عبد الله الثاني بن الحسين

Eu suspeito que não há ferramenta automatizada que possa fazer isso. Pode haver uma ou muitas latinizações de nomes pessoais. O software não pode escolher a versão culturalmente aceitável. Pelo menos não sem o software saber muito sobre a cultura da pessoa envolvida.

Consulte também /programming//a/1398403/477035

Acabei usando Perl com Text :: Unidecode para isso. Exemplo:

perl -e 'use utf8; use Text::Unidecode; print unidecode("عبد الله الثاني بسين")

produz bd llh lthny bn lHsyn, que é um resultado aceitável para meus propósitos.