Como eu comparo arquivos binários no Linux?

Preciso comparar dois arquivos binários e obter a saída no formulário:

<fileoffset-hex> <file1-byte-hex> <file2-byte-hex>

para cada byte diferente. Então, se file1.biné

  00 90 00 11

em forma binária e file2.biné

  00 91 00 10

Eu quero algo como

  00000001 90 91
  00000003 11 10

Existe uma maneira de fazer isso no Linux? Eu sei, cmp -lmas ele usa um sistema decimal para compensações e octal para bytes que eu gostaria de evitar.

Isso imprimirá o deslocamento e os bytes em hexadecimal:

cmp -l file1.bin file2.bin | gawk '{printf "%08X %02X %02X\n", $1, strtonum(0$2), strtonum(0$3)}'

Ou faça $1-1para que o primeiro deslocamento impresso comece em 0.

cmp -l file1.bin file2.bin | gawk '{printf "%08X %02X %02X\n", $1-1, strtonum(0$2), strtonum(0$3)}'

Infelizmente, strtonum()é específico para o GAWK, portanto, para outras versões do awk - por exemplo, mawk - você precisará usar uma função de conversão de octal para decimal. Por exemplo,

cmp -l file1.bin file2.bin | mawk 'function oct2dec(oct,     dec) {for (i = 1; i <= length(oct); i++) {dec *= 8; dec += substr(oct, i, 1)}; return dec} {printf "%08X %02X %02X\n", $1, oct2dec($2), oct2dec($3)}'

Dividido para facilitar a leitura:

cmp -l file1.bin file2.bin |
    mawk 'function oct2dec(oct,    dec) {
              for (i = 1; i <= length(oct); i++) {
                  dec *= 8;
                  dec += substr(oct, i, 1)
              };
              return dec
          }
          {
              printf "%08X %02X %02X\n", $1, oct2dec($2), oct2dec($3)
          }'

Como o charlatão apontou:

 % xxd b1 > b1.hex
 % xxd b2 > b2.hex

E depois

 % diff b1.hex b2.hex

ou

 % vimdiff b1.hex b2.hex

diff + xxd

Tente diffa seguinte combinação de substituição do processo zsh / bash:

diff -y <(xxd foo1.bin) <(xxd foo2.bin)

Onde:

• -y mostra as diferenças lado a lado (opcional).
• xxd é uma ferramenta CLI para criar uma saída hexdump do arquivo binário.
• Adicione -W200a diffpara saída mais ampla (de 200 caracteres por linha).
• Para cores, use colordiffcomo mostrado abaixo.

colordiff + xxd

Se você tiver colordiff, pode colorir a diffsaída, por exemplo:

colordiff -y <(xxd foo1.bin) <(xxd foo2.bin)

^{Caso contrário, instalar via: sudo apt-get install colordiff.}

Saída de amostra:

vimdiff + xxd

Você também pode usar vimdiff, por exemplo

vimdiff <(xxd foo1.bin) <(xxd foo2.bin)

Dicas:

• se os arquivos forem muito grandes, adicione limite (por exemplo -l1000) para cadaxxd

Há uma ferramenta chamada DHEX que pode fazer o trabalho, e há outra ferramenta chamada VBinDiff .

Para uma abordagem estritamente de linha de comando, tente jojodiff .

Método que funciona para adição / exclusão de bytes

diff <(od -An -tx1 -w1 -v file1) \
     <(od -An -tx1 -w1 -v file2)

Gere um caso de teste com uma única remoção do byte 64:

for i in `seq 128`; do printf "%02x" "$i"; done | xxd -r -p > file1
for i in `seq 128`; do if [ "$i" -ne 64 ]; then printf "%02x" $i; fi; done | xxd -r -p > file2

Resultado:

64d63
<  40

Se você também deseja ver a versão ASCII do personagem:

bdiff() (
  f() (
    od -An -tx1c -w1 -v "$1" | paste -d '' - -
  )
  diff <(f "$1") <(f "$2")
)

bdiff file1 file2

Resultado:

64d63
<   40   @

Testado no Ubuntu 16.04.

Eu prefiro odmais xxdporque:

• ele é POSIX , xxdnão é (vem com Vim)
• tem a -Anpara remover a coluna de endereço sem awk.

Explicação do comando:

• -Anremove a coluna de endereço. Isso é importante, caso contrário, todas as linhas diferirão após a adição / remoção de bytes.
• -w1coloca um byte por linha, para que o diff possa consumi-lo. É crucial ter um byte por linha, ou então todas as linhas após uma exclusão ficarão fora de fase e diferirão. Infelizmente, isso não é POSIX, mas está presente no GNU.
• -tx1 é a representação desejada, altere para qualquer valor possível, desde que você mantenha 1 byte por linha.
• -vevita a abreviação de repetição de asterisco *que pode interferir na diferença
• paste -d '' - -junta-se a cada duas linhas. Precisamos disso porque o hex e o ASCII entram em linhas adjacentes separadas. Retirado de: https://stackoverflow.com/questions/8987257/concatenating-every-other-line-with-the-next
• usamos parênteses ()para definir, em bdiffvez de {}limitar o escopo da função interna f, consulte também: https://stackoverflow.com/questions/8426077/how-to-define-a-function-inside-another-function-in-bash

Veja também:

• https://unix.stackexchange.com/questions/59849/diff-binary-files-of-different-sizes
• https://stackoverflow.com/questions/8385618/using-cmp-to-compare-two-binaries

Resposta curta

vimdiff <(xxd -c1 -p first.bin) <(xxd -c1 -p second.bin)

Ao usar hexdumps e diff de texto para comparar arquivos binários, especialmente xxd, as adições e remoções de bytes se tornam mudanças no endereçamento, o que pode dificultar a visualização. Esse método diz ao xxd para não enviar endereços e gerar apenas um byte por linha, o que, por sua vez, mostra exatamente quais bytes foram alterados, adicionados ou removidos. Você pode encontrar os endereços posteriormente pesquisando as interessantes seqüências de bytes em um hexdump mais "normal" (saída de xxd first.bin).

Eu recomendaria o hexdump para descarregar arquivos binários para o formato textual e o kdiff3 para visualização de diferenças.

hexdump myfile1.bin > myfile1.hex
hexdump myfile2.bin > myfile2.hex
kdiff3 myfile1.hex myfile2.hex

O hexdiffé um programa projetado para fazer exatamente o que você está procurando.

Uso:

hexdiff file1 file2

Ele exibe o hex (e ASCII de 7 bits) dos dois arquivos, um acima do outro, com as diferenças destacadas. Veja man hexdiffos comandos para se movimentar no arquivo, e um simples qserá encerrado.

Pode não responder estritamente à pergunta, mas eu uso isso para diferentes binários:

gvim -d <(xxd -c 1 ~/file1.bin | awk '{print $2, $3}') <(xxd -c 1 ~/file2.bin | awk '{print $2, $3}')

Ele imprime os dois arquivos como valores hexadecimais e ASCII , um byte por linha e, em seguida, usa o recurso diff do Vim para renderizá-los visualmente.

dhex http://www.dettus.net/dhex/

O DHEX é mais do que apenas outro editor hexadecimal: inclui um modo diff, que pode ser usado para comparar fácil e convenientemente dois arquivos binários. Como é baseado em ncurses e é utilizável, ele pode ser executado em qualquer número de sistemas e cenários. Com a utilização de logs de pesquisa, é possível rastrear alterações em diferentes iterações de arquivos facilmente.

Você pode usar a ferramenta gvimdiff incluída no pacote vim-gui-common

sudo apt-get update

sudo apt-get install vim-gui-common

Em seguida, você pode comparar 2 arquivos hexadecimais usando os seguintes comandos:

ubuntu> gvimdiff <hex-file1> <hex-file2>

Tha is all. Espero que ajude!

A ferramenta de análise de firmware binwalktambém possui isso como um recurso na opção -W/ --hexdumplinha de comando, que oferece opções como mostrar apenas os bytes diferentes:

    -W, --hexdump                Perform a hexdump / diff of a file or files
    -G, --green                  Only show lines containing bytes that are the same among all files
    -i, --red                    Only show lines containing bytes that are different among all files
    -U, --blue                   Only show lines containing bytes that are different among some files
    -w, --terse                  Diff all files, but only display a hex dump of the first file

No exemplo do OP ao fazer binwalk -W file1.bin file2.bin:

https://security.googleblog.com/2016/03/bindiff-now-available-for-free.html

O BinDiff é uma ótima ferramenta de interface do usuário para comparar arquivos binários que foram abertos recentemente.

O produto go to open source no Linux (e tudo mais) é o Radare, que fornece radiff2explicitamente para esse fim. Votei em encerrar isso porque eu e outros temos a mesma pergunta, na pergunta que você faz

para cada byte diferente

Isso é loucura. Como solicitado, se você inserir um byte no primeiro byte no arquivo, descobrirá que cada byte subsequente é diferente e, portanto, o diff repetirá o arquivo inteiro, com uma diferença real de um byte.

Um pouco mais prático é radiff -O. A -Oé para "" Faça código diffing com todos os bytes em vez de apenas os bytes opcode fixos ""

0x000000a4 0c01 => 3802 0x000000a4
0x000000a8 1401 => 3802 0x000000a8
0x000000ac 06 => 05 0x000000ac
0x000000b4 02 => 01 0x000000b4
0x000000b8 4c05 => 0020 0x000000b8
0x000000bc 4c95 => 00a0 0x000000bc
0x000000c0 4c95 => 00a0 0x000000c0

Como o IDA Pro, o Radare é uma ferramenta primária para análise binária, você também pode mostrar diferenças de delta -dou exibir os bytes desmontados em vez de hexadecimal com -D.

Se você está fazendo esse tipo de pergunta, confira

• Estouro de pilha para as perguntas de software,
• Troca de pilha de engenharia reversa
• Radare's radiff2para diffing binário