Finalmente, eu abandonei a confiar no diretório atual, pois era muito intrusivo e outras coisas como ido, onde acabam sendo afetadas ...
Em vez disso, eu adicionei meu diretório de compilação ao compilation-search-path
(add-to-list 'compilation-search-path "/path/to/build")
Encontrado nesta pergunta: Como ajustar o caminho que o erro de compilação-goto-erro do Emacs obtém do buffer de compilação?
A pergunta também explica que o correspondente de diretório pode alterar o diretório automaticamente se algumas cadeias de caracteres específicas forem emitidas:
Entering directory `...'
...
Leaving directory `...'
Isso também é personalizável, aparentemente.