Remova linhas de cabeçalho extras do arquivo, exceto a primeira linha

Eu tenho um arquivo que se parece com este exemplo de brinquedo. Meu arquivo atual possui 4 milhões de linhas, das quais 10 precisam ser excluídas.

ID  Data1  Data2
1    100    100
2    100    200
3    200    100
ID  Data1  Data2
4    100    100
ID  Data1  Data2
5    200    200

Quero excluir as linhas que se parecem com o cabeçalho, exceto a primeira linha.

Arquivo final:

ID  Data1  Data2
1    100    100
2    100    200
3    200    100
4    100    100
5    200    200

Como posso fazer isso?

header=$(head -n 1 input)
(printf "%s\n" "$header";
 grep -vFxe "$header" input
) > output

1. pegue a linha de cabeçalho do arquivo de entrada em uma variável
2. imprima o cabeçalho
3. processar o arquivo greppara omitir linhas que correspondem ao cabeçalho
4. capturar a saída das duas etapas acima no arquivo de saída

Você pode usar

sed '2,${/ID/d;}'

Isso excluirá as linhas com o ID iniciando na linha 2.

Para quem não gosta de colchetes

sed -e '1n' -e '/^ID/d'

• nsignifica a passlinha não.1
• d exclua todas as linhas correspondentes que começam com ^ID

Aqui está uma divertida. Você pode usar seddiretamente para retirar todas as cópias da primeira linha e deixar todo o resto no lugar (incluindo a primeira linha).

sed '1{h;n;};G;/^\(.*\)\n\1$/d;s/\n.*$//' input

1{h;n;}coloca a primeira linha no espaço de espera, imprime e lê na próxima linha - pulando o restante dos sedcomandos da primeira linha. (Ele também pula o primeiro 1teste para a segunda linha , mas isso não importa, pois esse teste não se aplicaria à segunda linha.)

G anexa uma nova linha seguida pelo conteúdo do espaço de espera no espaço do padrão.

/^\(.*\)\n\1$/dexclui o conteúdo do espaço do padrão (pulando para a próxima linha) se a parte após a nova linha (isto é, o que foi acrescentado do espaço de espera) corresponder exatamente à parte antes da nova linha. É aqui que as linhas que duplicam o cabeçalho serão excluídas.

s/\n.*$//exclui a parte do texto que foi adicionada pelo Gcomando, para que o que é impresso seja apenas a linha de texto do arquivo.

No entanto, como a regex é cara, uma abordagem um pouco mais rápida seria usar a mesma condição (negada) e Psubir para a nova linha se a parte após a nova linha (ou seja, o que foi acrescentado no espaço de espera) não corresponder exatamente à parte antes da nova linha e exclua incondicionalmente o espaço do padrão:

sed '1{h;n;};G;/^\(.*\)\n\1$/!P;d' input

Saída quando dada a sua entrada é:

ID  Data1  Data2
1    100    100
2    100    200
3    200    100
4    100    100
5    200    200

Aqui estão mais algumas opções que não exigem que você conheça a primeira linha com antecedência:

perl -ne 'print unless $_ eq $k; $k=$_ if $.==1; 

O -nsinalizador diz ao perl para fazer um loop sobre seu arquivo de entrada, salvando cada linha como $_. O $k=$_ if $.==1;salva a primeira linha ( $.é o número da linha, portanto $.==1será válido apenas para a 1ª linha) como $k. As print unless $k eq $_estampas da linha atual, se não é o mesmo que aquele salvo no $k.

Alternativamente, a mesma coisa em awk:

awk '$0!=x;(NR==1){x=$0}' file 

Aqui, testamos se a linha atual é igual à que é salva na variável x. Se o teste for $0!=xavaliado como verdadeiro (se a linha atual $0não for a mesma que x), a linha será impressa porque a ação padrão para awk em expressões verdadeiras é imprimir. A primeira linha ( NR==1) é salva como x. Como isso é feito após verificar se a linha atual corresponde x, isso garante que a primeira linha também seja impressa.

O AWK também é uma ferramenta decente para esse fim. Aqui está um exemplo de execução de código:

$ awk 'NR == 1 {print} NR != 1 && $0!~/ID  Data1  Data2/' rmLines.txt | head -n 10                                
ID  Data1  Data2
1    100    100
     100    200
3    200    100
1    100    100
     100    200
3    200    100
1    100    100
     100    200
3    200    100

Divida :

• NR == 1 {print} nos diz para imprimir a primeira linha do arquivo de texto
• NR != 1 && $0!~/ID Data1 Data2/ O operador lógico &&diz ao AWK para imprimir uma linha que não é igual a 1 e não contém ID Data1 Data2. Observe a falta de {print}parte; em awk, se uma condição de teste for avaliada como verdadeira, é assumido que a linha será impressa.
• | head -n 10é apenas uma pequena adição para limitar a saída apenas às 10 primeiras linhas. Não é relevante para a AWKpeça em si, apenas usado para fins de demonstração.

Se você desejar isso em um arquivo, redirecione a saída do comando anexando > newFile.txtno final do comando, da seguinte maneira:

awk 'NR == 1 {print} NR != 1 && $0!~/ID  Data1  Data2/' rmLines.txt > newFile.txt

Como ele aguenta? Muito bom, na verdade:

$ time awk 'NR == 1 {print} NR != 1 && $0!~/ID  Data1  Data2/' rmLines.txt > /dev/null                            
    0m3.60s real     0m3.53s user     0m0.06s system

Nota

O arquivo de amostra gerado foi feito para executar um loop de um a um milhão e imprimir as quatro primeiras linhas do seu arquivo (portanto, 4 linhas vezes milhões equivalem a 4 milhões de linhas), o que levou 0,09 segundos.

awk 'BEGIN{ for(i=1;i<=1000000;i++) printf("ID  Data1  Data2\n1    100    100\n     100    200\n3    200    100\n");  }' > rmLines.txt

Awk, adaptando-se a qualquer cabeçalho automaticamente:

awk '( FNR == 1) {header=$0;print $0;}
     ( FNR > 1) && ($0 != header) { print $0;}'  file1  file2 ....

ou seja, na primeira linha, obtenha o cabeçalho e imprima-o e a linha subsequente DIFERENTE desse cabeçalho será impressa.

FNR = Número de registros no arquivo atual, para que você possa ter vários arquivos e fará o mesmo em cada um deles.

Por uma questão de integridade, a solução Perl IMO um pouco mais elegante do que a @terdon forneceu:

perl -i -p -e 's/^ID.*$//s if $. > 1' file

Apenas para retroceder um pouco na questão ... parece que talvez sua própria entrada seja o resultado de reunir vários arquivos TSV. Se você puder fazer backup de uma etapa do seu pipeline de processamento (se você é o proprietário ou pode conversar com as pessoas que o fazem), pode usar uma ferramenta com reconhecimento de cabeçalho para concatenar os dados em primeiro lugar e, assim, remover o problema de precisar remova linhas de cabeçalho extras.

Por exemplo, usando Miller :

$ cat f1.tsv
ID  Data1 Data2
1 100 100
2 100 200
3 200 100
$ cat f2.tsv
ID  Data1 Data2
4 100 100
$ cat f3.tsv
ID  Data1 Data2
5 200 200

$ cat f1.tsv f2.tsv  f3.tsv
ID  Data1 Data2
1 100 100
2 100 200
3 200 100
ID  Data1 Data2
4 100 100
ID  Data1 Data2
5 200 200

$ mlr --tsvlite cat f1.tsv f2.tsv  f3.tsv
ID  Data1 Data2
1 100 100
2 100 200
3 200 100
4 100 100
5 200 200