O portão de um MOSFET possui uma resistência CC muito, muito alta. Para todos os efeitos, basicamente não consome nenhuma corrente, se estiver apenas com algum valor de estado estacionário (estamos falando de fem-amps ou menos).
Além disso, todos os portões MOSFET têm 'capacitância parasitária', que é essencialmente um par de capacitores minúsculos (geralmente alguns pF) que conectam o portão ao dreno e à fonte.
Ao pressionar o interruptor S1, você libera um monte de carga do trilho de + 5V, que liga o MOSFET. O truque é que ele também carrega os capacitores parasitas do portão. Quando você libera o S1, toda essa carga armazenada não tem para onde ir. Ele não é consumido pelo portão do MOSFET (já que o portão não consome corrente) e também não possui caminho para voltar ao solo.
Como a carga não tem para onde ir, ela fica lá e mantém + 5V no portão até você conectar outra coisa (como S2 ou seu multímetro) e fornecer um caminho para a carga que a leva de volta ao solo.
Editar: fato divertido, esse fenômeno também é exatamente como o NAND Flash funciona.