Desde a página de manual que você faz referência:
elf - format of Executable and Linking Format (ELF) files
O ELF define o formato binário de arquivos executáveis usados pelo Linux. Quando você invoca um executável, o sistema operacional deve saber como carregar o executável na memória corretamente, como resolver dependências dinâmicas da biblioteca e, em seguida, onde pular para o executável carregado para começar a executá-lo. O formato ELF fornece essas informações. A mágica ELF é usada para identificar arquivos ELF e são apenas os primeiros bytes de um arquivo:
% od -c -N 16 /bin/ls
0000000 177 E L F 002 001 001 \0 \0 \0 \0 \0 \0 \0 \0 \0
0000020
ou
% readelf -h /bin/ls | grep Magic
Magic: 7f 45 4c 46 02 01 01 00 00 00 00 00 00 00 00 00
Esses 16 bytes identificam inequivocamente um arquivo como um executável ELF. Muitos formatos de arquivo possuem bytes "mágicos" que realizam a mesma tarefa - identificando um tipo de arquivo.