Resposta simplificada relacionada principalmente a amplificadores de áudio: -
Um amplificador de áudio com baixa impedância de saída pode fornecer maiores potências ao seu alto-falante com mais eficiência do que um amplificador com maior impedância de saída. Assim, você descobrirá que os amplificadores de áudio têm impedâncias de saída medidas em menos de 1 ohm e em muitos casos em mili-ohms.
Por outro lado, um sinal fraco e débil de (digamos) um microfone não quer lutar para alimentar seu sinal em um amplificador com uma impedância de entrada muito baixa - isso pode potencialmente (e significativamente) atenuar o sinal e exigir maior níveis de amplificação para compensar, aumentando assim a captação de ruído etc.
Se as impedâncias de um amplificador de potência de áudio fossem revertidas, como você sugere, isso produziria um sinal de ruído no alto-falante e seria ineficiente em termos de energia, a ponto de ficar significativamente mais quente ao gerar o nível de som equivalente do alto-falante.
Existem outros problemas com baixas impedâncias de entrada, pois pode ocorrer a remodelagem da resposta de frequência de alguns microfones. Isso também se aplica à alta impedância de saída - as nuances eletromecânicas do alto-falante podem fazer com que alguns sinais pareçam mais altos do que deveriam.
Como um aparte, há muitos amplificadores que não têm uma impedância de entrada bastante baixo e estes são normalmente na área de RF onde você precisa combinar impedâncias para evitar reflexos de sinais.
Sem dúvida, existem outros exemplos que eu perdi.