Se você abrir um link a partir do histórico do navegador, será perceptível porque o link aberto aparecerá novamente no histórico. Se você abrir um link visitado recentemente , o link visitado será movido para o topo do histórico, ou seja, o tempo de acesso será atualizado (não sei exatamente o que conta recentemente , acho que leva até 1 hora).
No primeiro caso, você pode excluir a nova entrada do histórico. No segundo caso, há apenas uma entrada; portanto, a exclusão seria suspeita - mas a saída também seria suspeita porque o tempo de acesso foi alterado.
A solução não técnica simples para isso é abrir qualquer link do histórico em uma nova janela anônima.
Eu acho que isso deve ser suficiente na maioria dos casos em que o outro usuário está apenas inspecionando o histórico. Provavelmente, também impede algumas das técnicas que os especialistas em computadores usariam para determinar se um site foi visitado (por exemplo, inspecionando o cache ou os logs do navegador), mas não ajudará se o tráfego da rede for monitorado.