O ARP é a camada 2. O motivo é que uma transmissão é enviada na camada 2 (camada de enlace de dados) e o ARP normalmente não passará para a camada 3 (camada de rede). No entanto, ele pode fornecer recursos extras ao protocolo da camada 3.
A verdade é que nem todos os protocolos se encaixam exatamente no modelo OSI, porque afinal é apenas um modelo. Se você realmente quiser colocá-lo em um local, eu diria que o ARP é um protocolo de camada 2.5. Cabe na camada 2, mas não na camada 3 completamente.
A mesma discussão é frequentemente realizada sobre o ICMP e onde ele se encaixa: camada 3 ou camada 4.
Uma boa explicação sobre essas exceções é:
Normalmente, um protocolo da camada N + 1 é encapsulado com o cabeçalho do protocolo da Camada N, mas protocolos como arp, stp, cdp, icmp e igmp são exceções porque são encapsulados com um cabeçalho de um protocolo da mesma camada.