Talvez seja mais fácil começar no estado de energia.
Elétrons livres (aqueles que se deslocam de um átomo para outro) estão na banda de condução e orifícios (a falta de elétron em uma órbita) estão na banda de valência (mesmo link).
A banda de condução está em um nível de energia mais alto que a banda de valência e isso significa que as coisas se movem mais rapidamente. Mais interessante, para que um elétron se mova da banda de condução para a banda de valência (e preencha o buraco), ele deve perder um pouco de energia.
De uma perspectiva mais intuitiva, quando um buraco aparece em uma órbita de valência, nem todos os elétrons possíveis caem nele; um grande número passará até que um elétron que (crucialmente) tenha perdido energia suficiente para se mover para uma faixa de energia mais baixa preencha o buraco.
Quando o referido elétron deixou uma órbita (criando um buraco), foi porque havia energia adicionada talvez por uma colisão ou mesmo apenas pelo calor (caso contrário, não poderia assumir uma localização de energia mais alta na banda de condução). Somente quando ela gasta essa energia (movendo-se ou colidindo com outro objeto que pode ejetar um fóton - isso significa que o elétron perdeu 1 fóton de energia) ele pode perder essa energia extra e cair na faixa de valência.
Talvez isso seja explicado por uma análise mais detalhada dos níveis de energia