Sim. Os dados localizados na extremidade externa de um disco rígido tradicional serão lidos sequencialmente mais rapidamente do que os dados mais próximos do centro do prato. Isso é apenas física. A velocidade tangencial das faixas externas é mais rápida que as faixas internas, portanto a latência de rotação é menor.
A maneira mais fácil de ver isso é olhar para qualquer ferramenta de teste de unidade de disco que represente graficamente a taxa de transferência de uma unidade. A taxa de transferência mais alta será no início da unidade, localizada na borda externa.
Agora, se isso importa ou não de maneira significativa com os acessos aleatórios mais típicos que um sistema operacional fará com uma partição / swap é mais discutível. Também não tenho certeza de quão relevante é a partição / swap nos dias de hoje, quando o tamanho da memória RAM é geralmente de alguns GB. FWIW, eu geralmente não me importo com isso. Mas cada um na sua ...
Se você estiver usando uma versão atual do Ubuntu, o aplicativo Disk Utility possui uma função "benchmark", que pode lhe dar uma idéia aproximada de que tipo de diferença existe entre as partes "externa" e "interna" da sua unidade.