Seu servidor provavelmente possui alguns processos que consomem memória e / ou inativos, com muitas páginas inativas. O kernel do Linux prefere trocar partes inativas dos programas para trocar, pois provavelmente a memória é melhor usada como cache.
Se você deseja mudar esse comportamento, brinque com o vm.swappiness
sysctl tunable, mas esteja avisado, não é tão fácil superar os desenvolvedores do kernel / mantenedores de distribuição. :-)
Você está tendo problemas de desempenho no servidor durante esse pico de troca ou pediu por curiosidade?