A lei dos EUA diz que você deve sair e entrar nos EUA com seu passaporte, mas os oficiais de fronteira dos EUA na verdade não examinam os documentos das pessoas que estão saindo, portanto, eles não cumprem essa parte da regra.
Quanto ao retorno, como outros observaram, você pode entrar no país com seu certificado de naturalização, embora seja necessário explicar mais do que você faria se tivesse um passaporte. Eu acho que você poderia, em teoria, ser responsável por uma taxa para obter isenção do requisito, mas eu li neste site que eles realmente não impõem um.
O maior problema ao retornar aos EUA com base no seu certificado de naturalização provavelmente seria a companhia aérea. Eles podem não aceitar seu certificado de naturalização como prova de admissibilidade nos EUA, uma vez que ele não está em conformidade com os padrões de documentos de viagem e, se você não tiver um visto americano no seu passaporte de Hong Kong, eles poderão se recusar a deixar você embarcar.
Portanto, obter seu passaporte americano em Hong Kong parece ser o caminho mais seguro.