Você está carregando o capacitor diretamente da bateria. Portanto, o tempo de carregamento está relacionado ao produto RC, onde R é apenas a resistência interna da bateria.
Tente algo como isto:

simular este circuito - esquemático criado usando o CircuitLab
Aqui, eu dividi a resistência da base para que o capacitor seja carregado através de uma grande parte dele.
Isso não apenas alcança o objetivo de diminuir a carga do resistor, mas também traz outro benefício. Quando o interruptor é liberado, C1 descarrega na base do transistor apenas com uma resistência de 1K, resultando em uma descarga muito mais rápida que a carga. Não podemos tornar esse resistor pequeno demais, porque precisamos proteger a junção BE do transistor da corrente de descarga.
Na simulação, a corrente do LED começa a aumentar em cerca de 1,5 segundos e atinge o máximo em cerca de 1,8. Portanto, não é uma excitação repentina, obviamente. Mas a ativação aumenta com atrasos mais rápidos.
Para uma ativação mais rápida, precisamos adicionar outro estágio do transistor. O circuito a seguir tem um atraso de tempo semelhante ao anterior, mas a corrente do LED aumenta mais rapidamente, em uma propagação de 70 ms ou mais.

simule este circuito
Por períodos mais longos com uma ativação rápida, precisamos de mais ganhos. Uma maneira de fazer isso é substituir o resistor de carga por uma carga ativa. De acordo com uma simulação LTSpice deste circuito, ele gera um atraso de 55s, momento em que o LED acelera durante um intervalo de cerca de um quarto de segundo. Este gráfico mostra o carregamento do capacitor (azul) versus a corrente do LED (verde):

No entanto, está ficando mais complicado do que algumas soluções baseadas em IC. Essa abordagem é boa para gratificar o ego amador. ("Eu fiz isso com componentes discretos, nenhum desses ICs de amplificador operacional ou temporizador fáceis de usar, e veja, há até um espelho atual e outras coisas!").

simule este circuito
Podemos fazer pequenas alterações para não precisarmos do enorme resistor de carga e poder usar um capacitor menor? Sim! Aqui está uma maneira. Podemos elevar o transitor Q1 para que haja uma tensão de ativação mais alta na base, colocando um diodo Zener no emissor, por exemplo, 8,2V. Em seguida, um resistor de carga de 100K e um capacitor de 470uF nos dão um pouco mais de um minuto. Ao aumentar a tensão que o capacitor deve desenvolver, podemos obter um atraso maior para os mesmos valores de RC.

simule este circuito