Não há facilidade geral para hibernar um único processo, apenas todo o sistema.
No entanto, se você não se importa com o fato de a imagem do processo não sobreviver a uma reinicialização, há um recurso interno para salvar a imagem do processo no disco: troca. Verifique se você possui espaço de troca suficiente e, se houver pressão de memória e o processo não estiver ativo (por exemplo, porque está suspenso), sua memória será trocada.
Se você sabe que o processo provavelmente ficará inativo por um longo tempo e precisará de um tempo de resposta rápido em algum momento, você pode forçar a liberação de muita RAM agora, alocando muita RAM em uma processo de curta duração, por exemplo
perl -e '$tmp = "a" x 999999999' # allocate about 1GB
Você não tem controle sobre o que é trocado, portanto outros processos podem ser trocados. No Linux, você pode alternar um processo acessando à força as páginas que ele mapeia. O script nesta resposta fará isso: carregar na memória todas as páginas mapeadas por um processo (observe que isso inclui arquivos abertos; você pode percorrer regiões seletivamente com base nas informações do mapa para evitar a troca de dados que você sabe que não precisará , consulte esta resposta para obter mais informações).