Como posso remover a primeira linha de um arquivo de texto usando o script bash / sed?

Preciso remover repetidamente a primeira linha de um arquivo de texto enorme usando um script bash.

No momento eu estou usando sed -i -e "1d" $FILE- mas leva cerca de um minuto para fazer a exclusão.

Existe uma maneira mais eficiente de conseguir isso?

Tente cauda :

tail -n +2 "$FILE"

-n x: Basta imprimir as últimas xlinhas. tail -n 5daria as últimas 5 linhas da entrada. O +sinal meio que inverte o argumento e torna a tailimpressão qualquer coisa, menos as primeiras x-1linhas. tail -n +1imprimiria o arquivo inteiro, tail -n +2tudo menos a primeira linha etc.

GNU tailé muito mais rápido que sed. tailtambém está disponível no BSD e o -n +2sinalizador é consistente nas duas ferramentas. Verifique as páginas de manual do FreeBSD ou OS X para mais.

A versão BSD pode ser muito mais lenta do sedque isso. Eu me pergunto como eles conseguiram isso; taildeve apenas ler um arquivo linha por linha enquanto sedrealiza operações bastante complexas que envolvem a interpretação de um script, a aplicação de expressões regulares e similares.

Nota: Você pode ficar tentado a usar

# THIS WILL GIVE YOU AN EMPTY FILE!
tail -n +2 "$FILE" > "$FILE"

mas isso lhe dará um arquivo vazio . O motivo é que o redirecionamento ( >) acontece antes tailé chamado pelo shell:

1. Shell trunca arquivo $FILE
2. A Shell cria um novo processo para tail
3. O Shell redireciona o stdout do tailprocesso para$FILE
4. tail lê a partir do agora vazio $FILE

Se você deseja remover a primeira linha dentro do arquivo, você deve usar:

tail -n +2 "$FILE" > "$FILE.tmp" && mv "$FILE.tmp" "$FILE"

O &&irá certificar-se de que o arquivo não obter substituído quando há um problema.

Você pode usar -i para atualizar o arquivo sem usar o operador '>'. O comando a seguir excluirá a primeira linha do arquivo e salvará no arquivo.

sed -i '1d' filename

Para aqueles que estão no SunOS que não é GNU, o seguinte código ajudará:

sed '1d' test.dat > tmp.dat 

Não, isso é tão eficiente quanto você conseguirá. Você poderia escrever um programa em C que pudesse fazer o trabalho um pouco mais rápido (menos tempo de inicialização e argumentos de processamento), mas provavelmente tenderá à mesma velocidade que o sed, à medida que os arquivos aumentam (e suponho que sejam grandes se demorar um minuto )

Mas sua pergunta sofre do mesmo problema que tantas outras, pois pressupõe a solução. Se você nos disser em detalhes o que está tentando fazer, então como , podemos sugerir uma opção melhor.

Por exemplo, se esse é um arquivo A que outro programa B processa, uma solução seria não retirar a primeira linha, mas modificar o programa B para processá-lo de maneira diferente.

Digamos que todos os seus programas anexem a esse arquivo A e o programa B atualmente lê e processa a primeira linha antes de excluí-lo.

Você pode reprojetar o programa B para que ele não tente excluir a primeira linha, mas mantenha um deslocamento persistente (provavelmente baseado em arquivo) no arquivo A, para que, da próxima vez que seja executado, ele possa procurar esse deslocamento, processo a linha lá e atualize o deslocamento.

Então, em um horário silencioso (meia-noite?), Ele poderia executar um processamento especial do arquivo A para excluir todas as linhas processadas no momento e definir o deslocamento de volta para 0.

Certamente será mais rápido para um programa abrir e buscar um arquivo, em vez de abrir e reescrever. Esta discussão assume que você tem controle sobre o programa B, é claro. Não sei se é esse o caso, mas pode haver outras soluções possíveis se você fornecer mais informações.

Você pode editar os arquivos no local: Basta usar o -isinalizador do perl , assim:

perl -ni -e 'print unless $. == 1' filename.txt

Isso faz a primeira linha desaparecer, como você pede. O Perl precisará ler e copiar o arquivo inteiro, mas organiza para que a saída seja salva com o nome do arquivo original.

Você pode fazer isso facilmente com:

cat filename | sed 1d > filename_without_first_line

na linha de comando; ou para remover a primeira linha de um arquivo permanentemente, use o modo local de sed com o -isinalizador:

sed -i 1d <filename>

Como Pax disse, você provavelmente não vai ficar mais rápido que isso. O motivo é que quase não existem sistemas de arquivos que suportem truncamento desde o início do arquivo, portanto esta será uma noperação O ( ) em que né o tamanho do arquivo. O que você pode fazer muito mais rápido é sobrescrever a primeira linha com o mesmo número de bytes (talvez com espaços ou um comentário) que pode funcionar para você, dependendo exatamente do que você está tentando fazer (o que é isso, a propósito?).

O spongeutilitário evita a necessidade de manipular um arquivo temporário:

tail -n +2 "$FILE" | sponge "$FILE"

Se você quiser modificar o arquivo no lugar, você pode sempre usar o original edem vez do seu s sucessor treaming sed:

ed "$FILE" <<<$'1d\nwq\n'

O edcomando era o editor de texto UNIX original, antes mesmo de existirem terminais de tela cheia, muito menos estações de trabalho gráficas. O exeditor, mais conhecido como o que você está usando quando digitação no prompt do cólon em vi, é um ex versão tendia de ed, por isso, muitos dos mesmos comandos de trabalho. Embora edseja para ser usado interativamente, também pode ser usado no modo em lote enviando uma sequência de comandos para ele, que é o que esta solução faz.

A seqüência <<<$'1d\nwq\n'tira proveito do apoio do Bash para cadeias de caracteres here ( <<<) e citações POSIX ( $'... ') à entrada de alimentação para o edcomando que consiste em duas linhas: 1d, que d eletes linha 1 , e, em seguida wq, que w ritos o arquivo de volta para disco e, em seguida, q sai da sessão de edição.

deve mostrar as linhas, exceto a primeira linha:

cat textfile.txt | tail -n +2

Pode usar o vim para fazer isso:

vim -u NONE +'1d' +'wq!' /tmp/test.txt

Isso deve ser mais rápido, pois o vim não lê o arquivo inteiro durante o processo.

Que tal usar o csplit?

man csplit
csplit -k file 1 '{1}'

Como parece que não posso acelerar a exclusão, acho que uma boa abordagem pode ser processar o arquivo em lotes como este:

While file1 not empty
  file2 = head -n1000 file1
  process file2
  sed -i -e "1000d" file1
end

A desvantagem disso é que, se o programa for morto no meio (ou se houver algum sql ruim lá - causando a morte ou o bloqueio da parte "processo"), haverá linhas que serão ignoradas ou processadas duas vezes .

(arquivo1 contém linhas de código sql)

Se o que você está procurando é se recuperar após a falha, basta criar um arquivo com o que você fez até agora.

if [[ -f $tmpf ]] ; then
    rm -f $tmpf
fi
cat $srcf |
    while read line ; do
        # process line
        echo "$line" >> $tmpf
    done

Este liner fará:

echo "$(tail -n +2 "$FILE")" > "$FILE"

Funciona, já que tailé executado antes echoe depois o arquivo é desbloqueado, portanto, não há necessidade de um arquivo temporário.

Usar cauda em linhas N-1 e direcioná-lo para um arquivo, seguido pela remoção do arquivo antigo e renomear o novo arquivo para o nome antigo, faria o trabalho?

Se eu estivesse fazendo isso de maneira programática, leria o arquivo e lembre-se do deslocamento do arquivo, depois de ler cada linha, para que eu pudesse procurar novamente nessa posição para ler o arquivo com menos uma linha.