Ferramenta no unix para subtrair arquivos de texto?

Eu tenho um arquivo grande composto por campos de texto separados por ponto e vírgula na forma de uma tabela grande. Foi ordenado. Eu tenho um arquivo menor composto pelos mesmos campos de texto. Em algum momento, alguém concatenou esse arquivo com outras pessoas e, em seguida, fez uma classificação para formar o arquivo grande descrito acima. Eu gostaria de subtrair as linhas do arquivo pequeno do arquivo grande (por exemplo, para cada linha do arquivo pequeno, se existir uma sequência correspondente no arquivo grande, exclua essa linha no arquivo grande).

O arquivo é mais ou menos assim

GenericClass1; 1; 2; NA; 3; 4;
GenericClass1; 5; 6; NA; 7; 8;
GenericClass2; 1; 5; NA; 3; 8;
GenericClass2; 2; 6; NA; 4; 1;

etc

Existe uma maneira rápida e elegante de fazer isso ou eu tenho que usar o awk?

Você pode usar grep. Dê a ele o arquivo pequeno como entrada e peça para encontrar linhas não correspondentes:

grep -vxFf file.txt bigfile.txt > newbigfile.txt

As opções usadas são:

   -F, --fixed-strings
          Interpret PATTERN as a  list  of  fixed  strings,  separated  by
          newlines,  any  of  which is to be matched.  (-F is specified by
          POSIX.)
   -f FILE, --file=FILE
          Obtain  patterns  from  FILE,  one  per  line.   The  empty file
          contains zero patterns, and therefore matches nothing.   (-f  is
          specified by POSIX.)

   -v, --invert-match
          Invert the sense of matching, to select non-matching lines.  (-v
          is specified by POSIX.)
   -x, --line-regexp
          Select only those matches that exactly match the whole line.  
          (-x is specified by POSIX.)

comm é seu amigo:

NAME comm - compara dois arquivos classificados linha por linha

SYNOPSIS comm [OPÇÃO] ... ARQUIVO1 ARQUIVO2

DESCRIÇÃO Compare os arquivos classificados FILE1 e FILE2 linha por linha.

   With  no  options, produce three-column output.  Column one contains lines unique to FILE1, column two contains
   lines unique to FILE2, and column three contains lines common to both files.

   -1     suppress column 1 (lines unique to FILE1)

   -2     suppress column 2 (lines unique to FILE2)

   -3     suppress column 3 (lines that appear in both files)

( commprovavelmente terá um benefício de desempenho, greppois leva em consideração a classificação.)

Por exemplo:

comm -1 -3 file.txt bigfile.txt > newbigfile.txt