Editar: relendo isso, principalmente porque o problema é que os usuários estão tentando tocar para obter mais informações - é provável que qualquer ícone pareça um botão que pode ser pressionado. Os ícones quase por definição têm o objetivo de atrair atenção e parecer algo funcional: enquanto você deseja algo que se parece com fundo.
Portanto, acho que deve parecer uma linha de junção - plano de fundo e estrutura, não primeiro plano. Que tal algo como
[NOTE]---|-|---[NOTE]---|---[NOTE]---|-|-|-|-|---[NOTE]
... mas onde as linhas verticais (uma para cada dia que passou) são muito finas e juntas, para que não haja uma lacuna muito grande?
O princípio por trás dessa sugestão é: para transportar informações, mas não para parecer um botão ou ponto de interação, ele deve transportar informações, ao mesmo tempo em que parece parte da estrutura de segundo plano - não primeiro plano. Tem que ser algo que as pessoas olham para o passado, não algo que as pessoas são atraídas a olhar diretamente.
Resposta original: se não havia problema em parecer um ícone (portanto, potencialmente como um botão) ...
Como você está olhando especificamente para os dias, existem duas convenções comuns que você pode usar:
- Algo frequentemente usado em filmes, TV, quadrinhos etc. para significar dias passados: cruzar dias em um calendário, misturado com ...
- ... esse tipo comum e familiar de ícone de calendário ( extraído do Projeto Substantivo ):

... mas é claro que você precisa deixar claro que é a passagem dos dias que é o foco, não o calendário em si. Você pode desenhar um calendário para que o próprio calendário seja claramente reconhecível, mas em segundo plano, e os dias riscados sejam o primeiro plano, algo como isto:

Dependendo da quantidade de espaço que você tem, você pode ter ícones diferentes para períodos cada vez menores:

... mas não se empolgue! Mantenha simples.