Bem, acho que você tem um bom rastreador que lê o robots.txt e segue a diretiva. E outro que não segue a diretiva.
E como você planeja fornecer esse URL? Por email, usando o Facebook ou Twitter? Todos esses serviços rastreiam as informações que você envia. O Gmail analisa o e-mail que você recebe para fornecer anúncios. Portanto, seu URL será rastreado de alguma forma.
Algumas pessoas usam a Barra de Ferramentas Google (ou qualquer outra barra de ferramentas do mecanismo de pesquisa). Existe uma opção (marcada por padrão, se bem me lembro) que permite que a barra de ferramentas envie todos os URLs que você visita ao Google. Essa é outra maneira de o Google ver a Web oculta. Portanto, mesmo que você tenha dito à pessoa para não compartilhar o URL, implicitamente ele / ela (graças à barra de ferramentas).
Eu acho que podemos encontrar muitas outras possibilidades.
Você pode adicioná-lo ao robots.txt, mas também fornecer meta extra, como noindex, nofollow, etc.
editar:
A sugestão do w3d sobre o robots.txt me parece boa. Portanto, não o adicione ao robots.txt e forneça a meta tag apropriada.