Todo o fluxo de corrente em qualquer coisa que não seja um supercondutor gera calor. Nos chips, ele flui principalmente nas camadas de "metal" de alumínio (por que não cobre? Interação química desagradável com outras partes do silício).
O que faz com que a corrente flua? Toda vez que um transistor muda de estado, ele pode ser modelado como um capacitor (a porta FET da porta lógica acionada mais capacitância de fio parasita) carregando / descarregando através do fio e FET de saída da porta anterior. Isso é "comutação" ou energia "dinâmica". É proporcional à velocidade de comutação e ao quadrado da tensão; daí a unidade de 5V a 3.3V a 1.8V para melhor eficiência.
Os isoladores não são perfeitos e, em alguns lugares, são muito finos. Os transistores podem não estar totalmente "desligados". Se um FET tem uma resistência de fora de um megaohm e você coloca um milhão deles em paralelo, parece um resistor de 1 ohm. Isso é poder de "vazamento". É proporcional ao número de transistores.
Passei uma década trabalhando em uma startup em otimização de energia. :) Existem muitas técnicas: trocas de velocidade / vazamento ("alto k metal gate"), desligando partes do circuito completamente, clock gating, redução da freqüência do relógio, dimensionamento e posicionamento.