Existe um comando Linux para descobrir se um arquivo é UTF-8?

14

Os .iniarquivos do Joomla precisam ser salvos como UTF-8.

Após a edição, não tenho certeza se os arquivos são UTF-8 ou não.

Existe um comando como o Linux fileou alguns comandos que informam se um arquivo é realmente UTF-8 ou não?

linux utf-8 joomla

— Edward
fonte

4

Você não pode dizer a codificação de um arquivo. Você só pode fazer um palpite inteligente. Você pode adivinhar o que é certo, mas às vezes as suposições falham. fileé um exemplo de um programa que faz suposições inteligentes.

— Marco

11

@Marco: É possível verificar se é UTF-8 válido ou não, no entanto. Existem algumas codificações que podem passar por UTF-8 válidas por engano, mas isso quase nunca acontece com codificações / caracteres de ISO-8859-𝒏 ou Windows-125..

— user1686

28

Você pode determinar a codificação do arquivo com o seguinte comando:

file -bi filename

— Rik
fonte

3

@nicolas Para o MacOS, você pode tentar file -I filename(-I é uma capital i).

— Rik

5

Isso lê o arquivo inteiro?

— Ctrl-alt-delor 30/0318

2

@ kojow7 utf-8 não tem cabeçalho. O ASCII puro (somente 7 bits) é indistinguível do utf-8 (esse é o ponto, um cabeçalho causará todo tipo de problema). Portanto, se você tiver um arquivo ASCII para o primeiro MB e tiver um único caractere UTF-8, não saberá, a menos que leia o arquivo inteiro.

— ctrl-alt-Delor

3

Isso não deve ser aceito como resposta. O comando 'arquivo' não faz isso; ele lê apenas parte do arquivo e usa números mágicos para adivinhar. Ocasionalmente, o 'arquivo' pode e dará a resposta incorreta. Para verificar se um arquivo passa uma codificação como ascii, iso-8859-1, utf-8 ou o que for, então uma boa solução é usar o comando 'iconv'.

— Tim

11

Eu testei e pode falhar.

— Tim

9

Existe, use o isutf8comando do pacote moreutils .

Fonte: Como você pode saber se um arquivo está codificado em UTF-8 ou não?

— Pablo Olmos de Aguilera C.
fonte

@davidpostill Estou curioso, é uma má prática citar o autor na referência?

— Pablo Olmos de Aguilera C.

Não. No entanto, é uma boa prática fazer o link dizer para onde ele me leva. Suponha que eu esteja lendo apenas o texto azul. Após a edição, posso dizer por que e quando devo clicar nela. Antes, eu não podia. (Não fui eu quem fez a edição, mas tenho quase 94% de certeza de que é disso que se tratava.) #

— 305 Hermann Döppes

Agradável e funciona bem find -type f -exec isutf8 {} +, porque também cita o nome do arquivo. (E com o uso find ... -exec ... +também é rápido)

— Tomasz Gandor

2

Não use o filecomando Ele não inspeciona o arquivo inteiro e basicamente adivinha. Às vezes, fornece respostas incorretas.

Você pode verificar se um arquivo passa a codificação UTF-8 assim:

$ iconv -f utf8 <filename> -t utf8 -o /dev/null

Um código de retorno zero significa que ele passa UTF8. Um código de retorno diferente de zero significa que não é UTF8 válido.

Não é possível saber se um arquivo foi necessariamente exportado usando um esquema de codificação específico, pois alguns esquemas de codificação se sobrepõem. Para fazer isso, é necessário que os metadados sejam incorporados ao arquivo, e mesmo assim você confiaria em quem gerou esse arquivo, em vez de validá-lo por conta própria ... e você sempre deve validá-lo.

— Tim
fonte

0

Ainda outra maneira é usar recode, que sairá com um erro se tentar decodificar UTF-8 e encontrar caracteres inválidos.

if recode utf8/..UCS < "$FILE" >/dev/null 2>&1; then
    echo "Valid utf8 : $FILE"
else
    echo "NOT valid utf8: $FILE"
fi

— mivk
fonte