Para o PGP, cuja criptografia é fundamentalmente semelhante ao que o SSH faz com chaves públicas, são oferecidos servidores de chave pública. Por meio deles, o objetivo é propagar chaves públicas o mais amplamente possível.
É inviável fazer engenharia reversa de uma chave privada a partir de uma chave pública. De fato, esse é o objetivo da criptografia de chave pública: dados os comprimentos apropriados da chave, ela simplesmente não pode ser feita e os dados estarão seguros, não importa o quão amplamente a chave pública seja compartilhada.
(Observe que "isso simplesmente não pode ser feito" depende de suposições seguras de que a matemática superior não se provou falsa. Mas se isso acontecer, você terá coisas maiores para se preocupar ...)