Soa como uma oportunidade para criar um aplicativo!
O Google Maps permite que você salve seus próprios mapas (Meus Mapas), onde você pode adicionar locais e colocar notas curtas sobre eles. Você não pode categorizar ou classificar.
Com o Yelp, você pode salvar locais e fazer anotações, mas é limitado além desses recursos.
O mais próximo que vi para o que você está procurando é um aplicativo e site chamado Findery . É um aplicativo de mapeamento que permite salvar e criar notas em locais específicos. você pode incluir links, vídeos, etc, se quiser. Embora essas anotações devam ser 'encontradas' por outras pessoas, você pode torná-las privadas. Além disso, possui um recurso chamado "Mapas de notas" que permite categorizar suas anotações em mapas separados, como "Estive aqui", "favoritos" etc.
Eu não sou afiliado com nenhum desses, apenas um usuário.