EDIT - na reflexão, o circuito abaixo (que deixarei para referência) provavelmente é o mais adequado para uso em circuitos sem micro. Conforme mencionado nas outras respostas, a menos que você realmente não possa pagar os poucos uA, não faz sentido não usar o micro para controlar a alternância de potência, pois usa menos componentes e pode ser controlado com precisão.
A versão mais simples pode ser algo como uma entrada IOC (interrupção na alteração) com pull up, com o botão para aterrar. O micro tem energia aplicada o tempo todo e controla um MOSFET de canal P (com pullup do gate para a fonte) para o resto do circuito. Quando dorme, deixa o portão flutuar para desligar o circuito.
Circuito de referência:
Inicialmente, o P-MOSFET está desligado, portanto não há corrente de base no Q2, o que também está desligado. Q1 está desligado, então Q1c está em 5V. O circuito é estático.
Quando S1 (ignora os nós + e -, eles estão lá para fins de disparo do SPICE) é pressionado, o 5V em Q1c é conectado à base Q2, ligando-o. Isso puxa a porta do P-MOSFET para o chão, ativando-a também.
O R4 agora vê 5V e, quando S1 é liberado, fornece à Q2s a corrente necessária para mantê-la aberta (e, portanto, o MOSFET também) Q1 também é ativado quando a corrente através do R2 carrega C1 a ~ 600mV, nesse ponto Q1c é <200mV (isto é, Q1 está ativado)
O circuito agora está estático novamente.
Quando S1 é pressionado novamente, Q1 afunda a corrente de R4 (que mantém o Q2 ligado) desativando o Q2. R1 puxa a base do MOSFET até 5V e a desliga novamente.
Aqui está a simulação (V (push) alta representa quando o botão é pressionado):
Também podemos ver após desligar as cabeças de corrente para zero (quando C1 descarrega e Q1 desliga), de modo que o circuito não consome energia no estado desligado (o cursor para I (V1) está em 19,86s e mede 329nA):
A idéia original do circuito não é minha, vem de Dave Jones no EEVblog .