Diferença de dois arquivos grandes

Eu tenho "test1.csv" e ele contém

200,400,600,800
100,300,500,700
50,25,125,310

e test2.csv e ele contém

100,4,2,1,7
200,400,600,800
21,22,23,24,25
50,25,125,310
50,25,700,5

agora

diff test2.csv test1.csv > result.csv

é diferente de

diff test1.csv test2.csv > result.csv

Não sei qual é a ordem correta, mas quero outra coisa, os dois comandos acima produzirão algo como

2 > 100,4,2,1,7
   3 2,3c3,5
   4 < 100,300,500,700
   5 < 50,25,125,310
   6 \ No newline at end of file
   7 ---
   8 > 21,22,23,24,25
   9 > 50,25,125,310

Eu quero mostrar apenas a diferença, assim o results.csv deve ficar assim

100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

Eu tentei diff -qe diff -seles não fizeram o truque. A ordem não importa, o que importa é que eu quero ver apenas a diferença, nem> nem <nem espaço em branco.

grep -FvF fez o truque em arquivos menores e não em arquivos grandes

o primeiro arquivo contém mais de 5 milhões de linhas, o segundo arquivo contém 1300.

portanto results.csv deve resultar em ~ 4.998.700 linhas

Eu também tentei o grep -F -x -v -f que não funcionou.

Parece um trabalho para comm:

$ comm -3 <(sort test1.csv) <(sort test2.csv)
100,300,500,700
    100,4,2,1,7
    21,22,23,24,25
    50,25,700,5

Como explicado em man comm:

   -1     suppress column 1 (lines unique to FILE1)

   -2     suppress column 2 (lines unique to FILE2)

   -3     suppress column 3 (lines that appear in both files)

Portanto, -3significa que apenas as linhas exclusivas de um dos arquivos serão impressas. No entanto, esses são recuados de acordo com o arquivo em que foram encontrados. Para remover a guia, use:

$ comm -3 <(sort test1.csv) <(sort test2.csv) | tr -d '\t'
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

Nesse caso, você nem precisa classificar os arquivos e pode simplificar o acima para:

comm -3 test1.csv test2.csv | tr -d '\t' > difference.csv

Usando grepcom bashsubstituição de processo:

$ cat <(grep -vFf test2.csv test1.csv) <(grep -vFf test1.csv test2.csv)
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

Para salvar a saída como results.csv:

cat <(grep -vFf test2.csv test1.csv) <(grep -vFf test1.csv test2.csv) >results.csv

• <()é o bashpadrão de substituição de processo

• grep -vFf test2.csv test1.csv encontrará as linhas exclusivas para apenas test1.csv

• grep -vFf test1.csv test2.csv encontrará as linhas exclusivas para apenas test2.csv

• Finalmente, estamos resumindo os resultados por cat

Ou, como Oli sugeriu , você também pode usar o agrupamento de comandos:

$ { grep -vFf test2.csv test1.csv; grep -vFf test1.csv test2.csv; }
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

Ou simplesmente execute um após o outro, pois ambos estão escrevendo para STDOUT e serão adicionados:

$ grep -vFf test2.csv test1.csv; grep -vFf test1.csv test2.csv
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

Se a ordem das linhas não for relevante, use awkou perl:

awk '{seen[$0]++} END {for (i in seen) {if (seen[i] == 1) {print i}}}' 1.csv 2.csv

Use greppara obter as linhas comuns e filtrá-las:

grep -hxvFf <(grep -Fxf 1.csv 2.csv) 1.csv 2.csv

O grep interno obtém as linhas comuns e, em seguida, o grep externo encontra linhas que não correspondem a essas linhas comuns.

Use as --*-line-format=...opções dediff

Você pode dizer diffexatamente o que precisa - explicado abaixo:

diff --old-line-format='%L' --new-line-format='%L' --unchanged-line-format='' f1.txt f2.txt

É possível especificar a saída do diff de uma maneira muito detalhada, semelhante a um printfformato numérico.

As linhas do primeiro arquivo test1.csvsão chamadas de linhas "antigas" e as do segundo test2.csvsão "novas". Isso faz sentido quando diffé usado para ver o que mudou em um arquivo.

As opções de que precisamos são as que definem o formato para as linhas "antigas", "novas" e "inalteradas".
Os formatos que precisamos são muito simples:
para as linhas alteradas, novas e antigas, queremos exibir apenas o texto das linhas. %Lé o símbolo de formato para o texto da linha.
Para as linhas inalteradas, não queremos mostrar nada.

Com isso, podemos escrever opções como --old-line-format='%L'e reunir tudo, usando seus dados de exemplo:

$ diff --old-line-format='%L' --new-line-format='%L' --unchanged-line-format='' test1.csv test2.csv
100,4,2,1,7
100,300,500,700
21,22,23,24,25
50,25,700,5

Notas sobre desempenho

Como os arquivos têm tamanho diferente, tente trocar os arquivos de entrada, se isso não interessar, pode ser que o funcionamento interno de diffpossa lidar de uma maneira melhor que a outra. Melhor é precisar de menos memória ou menos computação.

Há uma opção de otimização para uso diffcom arquivos grandes: --speed-large-files. Ele usa suposições sobre a estrutura do arquivo, portanto, não está claro se isso ajuda no seu caso, mas vale a pena tentar.

As opções de formato estão descritas man diffabaixo --LTYPE-line-format=LFMT.

Como o pedido não precisa ser preservado, basta:

sort test1.csv test2.csv | uniq -u

• sort test1.csv test2.csv: mescla e classifica test1.csvetest2.csv
• uniq -u: imprime apenas as linhas que não possuem duplicado