Como encontrar a codificação de um arquivo via script no Linux?

Preciso encontrar a codificação de todos os arquivos que são colocados em um diretório. Existe uma maneira de encontrar a codificação usada?

O filecomando não é capaz de fazer isso.

A codificação que me interessa é: ISO-8859-1. Se a codificação for qualquer outra coisa, desejo mover o arquivo para outro diretório.

Parece que você está procurando enca. Pode adivinhar e até converter entre codificações. Basta olhar para a página do manual .

Ou, na sua falta, use file -i(linux) ou file -I(osx). Isso produzirá informações do tipo MIME para o arquivo, que também incluirá a codificação do conjunto de caracteres. Também encontrei uma página de manual para ele :)

file -bi <file name>

Se você gosta de fazer isso para vários arquivos

for f in `find | egrep -v Eliminate`; do echo "$f" ' -- ' `file -bi "$f"` ; done

uchardet - Uma biblioteca de detectores de codificação portada do Mozilla.

Uso:

~> uchardet file.java 
UTF-8

Várias distribuições Linux (Debian / Ubuntu, OpenSuse-packman, ...) fornecem binários.

Aqui está um exemplo de script usando o arquivo -I e iconv, que funciona no MacOsX. Para sua pergunta, você precisa usar mv em vez de iconv

#!/bin/bash
# 2016-02-08
# check encoding and convert files
for f in *.java
do
  encoding=`file -I $f | cut -f 2 -d";" | cut -f 2 -d=`
  case $encoding in
    iso-8859-1)
    iconv -f iso8859-1 -t utf-8 $f > $f.utf8
    mv $f.utf8 $f
    ;;
  esac
done

É realmente difícil determinar se é iso-8859-1. Se você tiver um texto com apenas caracteres de 7 bits, também pode ser iso-8859-1, mas não sabe. Se você tiver caracteres de 8 bits, os caracteres da região superior também existirão em codificações de ordem. Portanto, você teria que usar um dicionário para entender melhor qual é a palavra e determinar a partir de qual letra deve ser. Finalmente, se você detectar que ele pode ser utf-8, você tem certeza de que não é iso-8859-1

Codificação é uma das coisas mais difíceis de fazer, porque você nunca sabe se nada está lhe dizendo

No Debian você também pode usar encguess::

$ encguess test.txt
test.txt  US-ASCII

Para converter codificação de 8859 para ASCII:

iconv -f ISO_8859-1 -t ASCII filename.txt

Com o Python, você pode usar o módulo chardet: https://github.com/chardet/chardet

Isso não é algo que você pode fazer de maneira infalível. Uma possibilidade seria examinar todos os caracteres no arquivo para garantir que ele não contenha caracteres nos intervalos 0x00 - 0x1fou0x7f -0x9f , mas, como eu disse, isso pode ser verdade para qualquer número de arquivos, incluindo pelo menos uma outra variante da ISO8859.

Outra possibilidade é procurar palavras específicas no arquivo em todos os idiomas suportados e ver se você as encontra.

Por exemplo, encontre o equivalente do inglês "and", "but", "to", "of" e assim por diante em todos os idiomas suportados do 8859-1 e verifique se eles têm um grande número de ocorrências dentro do Arquivo.

Não estou falando de tradução literal como:

English   French
-------   ------
of        de, du
and       et
the       le, la, les

embora isso seja possível. Estou falando de palavras comuns no idioma de destino (pelo que sei, islandês não tem palavra para "e" - você provavelmente teria que usar a palavra para "peixe" [desculpe, isso é um pouco estereotipado, eu não significa qualquer ofensa, apenas ilustrando um ponto]).

Sei que você está interessado em uma resposta mais geral, mas o que é bom em ASCII geralmente é bom em outras codificações. Aqui está um liner Python para determinar se a entrada padrão é ASCII. (Tenho certeza de que isso funciona no Python 2, mas só o testei no Python 3.)

python -c 'from sys import exit,stdin;exit()if 128>max(c for l in open(stdin.fileno(),"b") for c in l) else exit("Not ASCII")' < myfile.txt

Se você está falando sobre arquivos XML (ISO-8859-1), a declaração XML dentro deles especifica a codificação: <?xml version="1.0" encoding="ISO-8859-1" ?>
Portanto, você pode usar expressões regulares (por exemplo, com perl) para verificar cada arquivo para essa especificação.
Mais informações podem ser encontradas aqui: Como determinar a codificação de arquivo de texto .

No php você pode conferir como abaixo:

Especificando lista de codificação explicitamente:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

"Mb_list_encodings" mais preciso:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Aqui no primeiro exemplo, você pode ver que eu coloquei uma lista de codificações (detectar a ordem da lista) que podem estar correspondentes. Para obter resultados mais precisos, você pode usar todas as codificações possíveis em: mb_list_encodings ()

Nota As funções mb_ * requerem php-mbstring

apt-get install php-mbstring

No Cygwin, parece que funciona para mim:

find -type f -name "<FILENAME_GLOB>" | while read <VAR>; do (file -i "$<VAR>"); done

Exemplo:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done

Você pode canalizar isso para o awk e criar um comando iconv para converter tudo em utf8, a partir de qualquer codificação de origem suportada pelo iconv.

Exemplo:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done | awk -F[:=] '{print "iconv -f "$3" -t utf8 \""$1"\" > \""$1"_utf8\""}' | bash

Você pode extrair a codificação de um único arquivo com o comando file. Eu tenho um arquivo sample.html com:

$ file sample.html 

sample.html: documento HTML, texto Unicode UTF-8, com linhas muito longas

$ file -b sample.html

Documento HTML, texto Unicode UTF-8, com linhas muito longas

$ file -bi sample.html

texto / html; charset = utf-8

$ file -bi sample.html  | awk -F'=' '{print $2 }'

utf-8

Estou usando o seguinte script para

1. Encontre todos os arquivos que correspondem a FILTER com SRC_ENCODING
2. Crie um backup deles
3. Converta-os em DST_ENCODING
4. (opcional) Remova os backups

.

#!/bin/bash -xe

SRC_ENCODING="iso-8859-1"
DST_ENCODING="utf-8"
FILTER="*.java"

echo "Find all files that match the encoding $SRC_ENCODING and filter $FILTER"
FOUND_FILES=$(find . -iname "$FILTER" -exec file -i {} \; | grep "$SRC_ENCODING" | grep -Eo '^.*\.java')

for FILE in $FOUND_FILES ; do
    ORIGINAL_FILE="$FILE.$SRC_ENCODING.bkp"
    echo "Backup original file to $ORIGINAL_FILE"
    mv "$FILE" "$ORIGINAL_FILE"

    echo "converting $FILE from $SRC_ENCODING to $DST_ENCODING"
    iconv -f "$SRC_ENCODING" -t "$DST_ENCODING" "$ORIGINAL_FILE" -o "$FILE"
done

echo "Deleting backups"
find . -iname "*.$SRC_ENCODING.bkp" -exec rm {} \;

com este comando:

for f in `find .`; do echo `file -i "$f"`; done

você pode listar todos os arquivos em um diretório e subdiretórios e a codificação correspondente.

Com Perl, use Encode :: Detect.