Ele é armazenado no armazenamento de certificados do Windows. Ao importar o certificado assinado, você encontrará uma chave privada correspondente. Combina-os por módulo, se bem me lembro.
Você pode obter uma lista das chaves privadas que possui como resultado de solicitações de registro de certificado (como as que você fez certreq) executando certmgr.mscpara a conta do computador (ou simplesmente certlm.msc para o Windows 2012R1 ou Windows 8 em diante ).
As chaves estão na pasta Solicitações de Registro de Certificado .
A coisa mais fácil de fazer se você precisar usar o certificado sem usar a API é importá-lo, exportá-lo e usar o openssl para transformar o PKCS5 resultante em um certificado e chave PEM.
Você também pode usar o openssl para gerar chaves e solicitações de certificado e, se planeja usá-las no formato PEM no sistema de arquivos, em vez de usar a API do Windows, faça o mesmo.