Como posso identificar caracteres não ASCII do shell?


12

Existe uma maneira simples para imprimir todos os caracteres não-ASCII e os números de linha em que eles ocorrem em um arquivo usando um utilitário de linha de comando, como grep, awk, perl, etc?

Quero alterar a codificação de um arquivo de texto de UTF-8 para ASCII, mas antes de fazer isso, desejo substituir manualmente todas as instâncias de caracteres não ASCII para evitar alterações inesperadas de caracteres efetuadas pela rotina de conversão de arquivos.

Respostas:


13
$ perl -ne 'print "$. $_" if m/[\x80-\xFF]/'  utf8.txt
2 Pour être ou ne pas être
4 Byť či nebyť
5 是或不

ou

$ grep -n -P '[\x80-\xFF]' utf8.txt
2:Pour être ou ne pas être
4:Byť či nebyť
5:是或不

onde utf8.txt é

$ cat utf8.txt
To be or not to be.
Pour être ou ne pas être
Om of niet zijn
Byť či nebyť
是或不

1
Obrigado. O fragmento de perl funciona diretamente, mas a versão grep não funciona com o GNU grep 2.16. Consegui fazê-lo funcionar via:, LC_ALL=C grep -n -P [$'\x80'-$'\xFF']onde o primeiro bit desativa o agrupamento.
1811 Joe Corneli

4

Quero alterar a codificação de um arquivo de texto de UTF-8 para ASCII ...

... substitua todas as instâncias de caracteres não ASCII ...

Em seguida, diga à sua ferramenta de conversão.

$ iconv -c -f UTF-8 -t ASCII <<< 'Look at 私.'
Look at .

$ iconv -c -f UTF-8 -t ASCII//translit <<< 'áēìöų'
aeiou

Ele disse que queria fazer essa substituição manualmente. Talvez a substituição mais apropriada seja dependente do contexto.
mark4o
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.