Saída as linhas comuns (semelhanças) de dois arquivos de texto (o oposto de diff)?

21

Diff é uma ótima ferramenta para exibir as alterações entre dois arquivos. Mas como exibir as semelhanças de dois arquivos de texto (ignorando as diferenças)?

Ou seja, entrada de amostra:

a:
Foo Bar
X
Hello
World
42

b:
Foo Baz
Hello
World
23

Pseudo saída (algo como isto):

@@ 2,3
=Hello World

Apenas classificar os dois arquivos e usar comm não é suficiente, porque nesse caso as informações da linha são perdidas.

command-line shell diff

— maxschlepzig
fonte

24

Que tal usar diff, mesmo que você não queira uma diff? Tente o seguinte:

diff --unchanged-group-format='@@ %dn,%df 
  %<' --old-group-format='' --new-group-format='' \
  --changed-group-format='' a.txt b.txt

Aqui está o que recebo com seus dados de amostra:

$ cat a.txt 
Foo Bar
X
Hello
World
42
$ cat b.txt 
Foo Baz
Hello
World
23
$ diff --unchanged-group-format='@@ %dn,%df
%<' --old-group-format='' --new-group-format='' \
  --changed-group-format='' a.txt b.txt
@@ 2,3
Hello
World

— Mike Gray
fonte

2

Você pode evitar a incorporação de uma nova linha literal como esta:...%df'$'\n''%<'...

— Pausada até novo aviso.

1

Você também pode fazer o seguinte: ... --unchanged-group-format="@@ %dn,%df%c'\012'%<" ...(Observe as aspas duplas.)

— Pausado até novo aviso.

Coisas boas! Eu não sabia que estas opções, porque eu só olhei para a página homem diff ...

— maxschlepzig

Estou usando diff --version diff (GNU diffutils) 2.8.1 E recebo o seguinte erro: diff: opções conflitantes de estilo de saída diff: Tente `diff --help 'para obter mais informações.

— Sujay

Eu estava recebendo "error: diff: opções conflitantes de estilo de saída diff" porque eu tinha um alias de diff definido. Use which diffpara ver se este é o seu problema.

— justinjhendrick

14

grep -Fxf file1 file2

-Fsignifica combinar strings simples (não regexps), -xsignifica apenas correspondências de linha inteira, -fsignifica pegar 'padrões' (ou seja, linhas) do arquivo nomeado como argumento

— tobyodavies
fonte

3

Não são -fe são -Ftrocados? Pelo menos na minha grepversão é assim. Eu preciso fornecer file2entrada para o -fargumento, como cat file1 | grep -Fxf file2, e depois funciona.

— Birei

Isso não funcionou para mim.

— Chaminda Bandara

7

commpode ser usado. man commpara todas as opções, mas convém usar comm -12 ...para mostrar apenas as linhas existentes nas duas entradas.

Como as pessoas apontaram, você precisa passar sua opinião sortprimeiro.

— Oli
fonte

1

Hum, isso funciona apenas para linhas comuns que estão no mesmo número de linha nos dois arquivos.

— maxschlepzig

2

comm parece ser apenas para arquivos classificados e não fornece essa saída útil para o caso de uso do OP. Seu exemplo: $ comm -12 ab Olá Mundo comm: file 1 não está na comm ordem de classificação: Arquivo 2 não está na ordem de classificação

— Marcel Stimberg

@maxschlepzig: você deve classificar seus arquivos antes de passá-los para o comm.

— Hemant

2

Ao classificar, você se livra de todas as informações sobre a posição das linhas comuns. Você também não classificaria os arquivos antes de compará-los com o diff.

— Marcel Stimberg

7

Eu não acho que exista um único comando que faça o que você deseja que ele faça. Você pode tentar combinar a saída de diffcom grep, no entanto. Se os seus arquivos de texto contêm nenhum dos personagens |, <, >, o seguinte lhe dá saída um pouco útil:

$ diff --side-by-side a b | grep -n -v "[|<>]"
3:Hello                             Hello
4:World                             World

— Marcel Stimberg
fonte

Tente o seguinte:diff --width=155 --left-column --side-by-side a b | grep -n -v '|' | sed 's/ *($//'

— Pausado até novo aviso.

isso parece melhor - mas você deve incluir <e> no grep para se livrar também das linhas adicionadas em qualquer arquivo.

— Marcel Stimberg

2

Dick Grune escreveu uma família de ferramentas para esse tipo de coisa:

http://dickgrune.com/Programs/similarity_tester/

Existem versões que analisam a sintaxe de vários idiomas, para que coisas como variáveis renomeadas possam ser vistas como inalteradas.

É empacotado como similarity-testerno Debian e Ubuntu.

— Douglas Bagnall
fonte