Esta é uma experiência extremamente agradável!
Tenho uma ideia para adicionar ao comentário de jonk :
É super bom que você esteja testando o que acontece assim! Como já foi fornecido, a resposta é que a bateria está sobrecarregada ao alimentar as luzes e a tensão "cai" um pouco sob essa carga. Quando uma bateria se aproxima do fim da vida útil, ela cai ainda mais.
Coloque as baterias na geladeira por mais ou menos uma hora, até que estejam frias (você também pode congelá-las, mas não desça abaixo de -20 ° C) e repita o experimento. Você verá que eles caem muito mais agora! Desligue e aguarde até que voltem à temperatura ambiente: devem começar a trabalhar como antes.
O que está acontecendo?
Em uma bateria, uma reação química leva os dois contatos da bateria a terem potenciais elétricos diferentes - há uma tensão entre eles!
Quando você conecta duas coisas, os contatos da bateria, com voltagens diferentes, a corrente começa a fluir. Isso é o que acende sua lâmpada!
Agora, imagine que há um pequeno resistor (tipo 2Ω) entre a bateria e a sonda positiva do multímetro. Na verdade, não está lá, mas você "sente" sua existência:
Um resistor mostra uma queda de tensão quando uma corrente flui através dele. No seu caso, algumas centenas de miliamperes fluem através da lâmpada, do interruptor e de volta à sua bateria - e isso leva a algumas centenas de milivolts de queda de tensão sobre o resistor "imaginado".
É o que chamamos de "resistência interna". É a imperfeição de uma fonte de tensão (como suas baterias) que leva a tensões mais baixas quanto mais corrente você consome.
A resistência interna pode ser muitas coisas - em primeiro lugar, as baterias reais são feitas de materiais reais e os materiais reais têm resistência. Mas para baterias, isso geralmente é apenas uma pequena parte da resistência interna. A maior parte é que, para gerar um fluxo de corrente, as reações químicas (e o íon vagando) no interior devem ocorrer com rapidez suficiente. Se houver mais consumo de corrente do que a reação química pode suportar, a tensão cai.
Agora, quando você esfria as baterias, reduz a velocidade de todas as reações químicas internas e, especialmente, da velocidade com que os átomos carregados podem vagar dentro da bateria. Essa é a razão pela qual temos geladeiras e freezers: com todas as reações químicas sendo reduzidas pela temperatura mais baixa, os alimentos não ficam ruins tão rapidamente, porque todas as coisas que fazem os alimentos ficarem ruins (ou seja, crescimento bacteriano e decomposição química das coisas) ) simplesmente acontecem em câmera lenta.
Com a reação química da bateria desacelerada, a bateria simplesmente não pode "acompanhar" tão bem o consumo atual, e a tensão cai ainda mais do que com uma bateria quente.