Você certamente não precisa levar seu passaporte para todos os lugares. Se você precisa ter um ID em você o tempo todo e o que é aceito depende do país. Na maioria dos casos, ser capaz de produzir o seu passaporte no dia seguinte deve ser OK (mas há exceções como a Holanda, onde não ter um ID reconhecido em você faz você ser responsabilizado por uma multa, não importa qual seja o seu status).
Em países como a Alemanha ou a França, a sua carteira de motorista (provisória ou não) normalmente não contaria como documento de identificação oficial, mas deveria estar em condições de satisfazer a polícia no caso improvável de haver um controle ( aqui alguns detalhes sobre a França ). O que poderia acontecer se a polícia não estivesse satisfeita ou, de alguma forma, quisesse tornar sua vida miserável é que você tem que segui-los até a delegacia de polícia, mas não ter seu passaporte em você não é uma ofensa em si.
Na Suíça, os cidadãos suíços não precisam portar identidade, mas eu não sei sobre estrangeiros. Você também precisará do seu passaporte para poder pegar o avião ou a balsa para o Reino Unido.