Como posso remover a lista técnica de um arquivo UTF-8?

Eu tenho um arquivo na codificação UTF-8 com a BOM e quero remover a BOM. Existem ferramentas de linha de comando do linux para remover a lista técnica do arquivo?

$ file test.xml
test.xml:  XML 1.0 document, UTF-8 Unicode (with BOM) text, with very long lines

Se você não tiver certeza se o arquivo contém uma BOM UTF-8, isso (assumindo a implementação GNU de sed) removerá a BOM, se existir, ou não fará alterações, se não existir.

sed '1s/^\xEF\xBB\xBF//' < orig.txt > new.txt

Você também pode substituir o arquivo existente com a -iopção:

sed -i '1s/^\xEF\xBB\xBF//' orig.txt

Uma lista técnica não faz sentido no UTF-8. Esses são geralmente adicionados por engano por softwares falsos nos sistemas operacionais da Microsoft.

dos2unix irá removê-lo e também cuidar de outras idiossincrasias dos arquivos de texto do Windows.

dos2unix test.xml

É possível remover a lista técnica de um arquivo com o tailcomando:

tail -c +4 withBOM.txt > withoutBOM.txt

Usando o VIM

1. Abrir arquivo no VIM:

   vi text.xml
   

2. Remova a codificação da BOM:

   :set nobomb
   

3. Salve e saia:

   :wq
   

Você pode usar

LANG=C LC_ALL=C sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//' -i -- filename

para remover a marca de ordem de bytes do início do arquivo, se houver, e converter qualquer nova linha de CR LF em LF apenas. O LANG=C LC_ALL=Ccomando diz ao shell que você deseja que o comando seja executado no código de idioma C padrão (também conhecido como código de idioma POSIX padrão), onde os três bytes que formam a Marca de Ordem de Byte são tratados como bytes. A -iopção para sed significa no local. Se você usar -i.old, o sed salva o arquivo original como filename.olde o novo arquivo (com as modificações, se houver) como filename.

Eu pessoalmente gosto de ter isso como ~/bin/fix-ms; por exemplo, como

#!/bin/dash
export LANG=C LC_ALL=C
if [ $# -gt 0 ]; then
    for FILE in "$@" ; do
        sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//' -i -- "$FILE" || exit 1
    done
else
    exec sed -e 's/\r$// ; 1 s/^\xef\xbb\xbf//'
fi

para que, se eu precisar aplicar isso para dizer todos os arquivos e cabeçalhos de origem C (meu código antigo da era do MS-DOS, por exemplo!), eu apenas corro

find . -name '*.[CHch]' -print0 | xargs -r0 ~/bin/ms-fix

ou, se eu quiser apenas ver um arquivo desse tipo, sem modificá-lo, posso executar

~/bin/ms-fix < filename | less

e não ver o feio <U+FEFF>no meu terminal UTF-8.

Recentemente, encontrei esta pequena ferramenta de linha de comando que adiciona ou remove a lista técnica em arquivos codificados UTF-8 arbitrários: UTF BOM Utils ( novo link no github)

Pouco inconveniente, você pode baixar apenas o código-fonte C ++ simples. Você precisa criar o makefile (com o CMake , por exemplo) e compilá-lo sozinho, os binários não são fornecidos nesta página.