Você pode pensar em uma bateria como uma bomba de elétrons, que move quimicamente elétrons do terminal positivo para o negativo, a fim de manter uma certa "pressão elétrica" (é o que os primeiros chamavam de diferença de potencial em alguns livros antigos, e é não é um modelo ruim).
Para realmente fazer essa coisa fazer alguma coisa útil, você precisa fornecer um caminho para os elétrons fluírem, que usa os elétrons em movimento para realizar algum tipo de tarefa interessante [1]. Isso pode estar aquecendo um fio fino para acender, ou acionar alguma outra reação eletroquímica para recarregar outra bateria, ou criar um campo magnético em um motor ou o que seja. Esse caminho deve ser claramente um loop, se você desejar que o sistema funcione mais do que muito brevemente (pense em nano segundos).
Observe que em nenhum momento há menção a terra ou algo assim, todas as tensões são medidas em relação a algum ponto arbitrário em suas ações e, para que essa tensão faça alguma coisa útil, deve haver um loop para a corrente fluir [2].
Ground é uma daquelas palavras realmente ruins que significa pelo menos três coisas diferentes de uma maneira altamente dependente do contexto, ignorada por enquanto.
[1] Os elétrons em um condutor de cobre em qualquer tipo de corrente com a qual você deseja jogar se move muito lentamente, pense menos de um mm por segundo, mas um fio é como um tubo cheio de rolamentos de esferas, você empurra um em um No final, um sai do outro muito mais rápido que qualquer bola se move para baixo do tubo.
[2] Sim, eu sei, portões de memória flash, lentes eletrostáticas, impressoras a laser, todo tipo de pequenas exceções, mas continue com isso por enquanto.