Permitam-me que anteceda esta resposta com uma palavra de cautela: sua pergunta é muito boa e importante, mas também depende muito das definições dos termos que ela usa. Vou tentar responder da maneira mais despretensiosa e não técnica. Você pode colocá-lo em termos técnicos e obter uma resposta mais precisa.
A riqueza dos ricos pode ser atribuída à pobreza dos pobres. Na Coréia do Norte, um dos países mais pobres em termos de PIB per capita, existem poucas pessoas ricas e muitas pessoas pobres. É sabido que quase todas as pessoas ricas trabalham nos mais altos níveis do governo ou nas forças armadas. As pessoas pobres que têm a sorte de obter qualquer renda o fazem em grande parte por ordem dos ricos, e aqueles que recusam são presos ou coisa pior. Como quase toda a atividade econômica na Coréia do Norte é planejada centralmente via força, segue-se que os ricos derivam sua riqueza do sofrimento dos pobres.
No entanto, em sociedades com mais propriedade privada da produção e do capital - e menos centralização - a força ainda é útil em geral, mas é menos um fator na determinação de quem é rico e quem é pobre.
Independentemente do nosso lote relativo na vida, se você e eu trocamos livremente um com o outro, só o fazemos quando ambos sentimos que estamos "em melhor situação" como resultado. Então, se você é um industrial rico e eu sou um pobre produtor de banana, e eu decido livremente trocar 100 das minhas bananas por 100 dos seus dólares, você necessariamente acha que uma banana vale pelo menos 1 dólar para você, e eu necessariamente penso uma banana vale no máximo 1 dólar para mim.
Excluindo a fraude definitiva (deturpação de seus dólares ou das minhas bananas), devemos concluir que cada um de nós acha que isso é um comércio justo ou que o outro cara é uma droga. Por exemplo, você pode saber algo sobre o valor das bananas que eu não conheço. Talvez você tenha acabado de descobrir que as bananas têm poderes especiais de cura ou que minhas bananas são particularmente boas. Por outro lado, talvez eu saiba algo que você não sabe. Talvez eu saiba que há muito mais produtores de banana na região ou que eu posso comprar duas bananas por 1 dólar em outro lugar.
Normalmente, no entanto, é apenas uma questão do que cada parte do comércio é capaz de fazer com os bens comercializados que determina quanto ele acha que valem.
Se você ficar rico vendendo minhas bananas por um preço mais alto, não estará fazendo isso "às minhas custas", desde que não esteja me impedindo de fazer a mesma coisa. Pode haver razões pelas quais você tem a capacidade de vender bananas a um preço mais alto que não tem nada a ver com força - talvez você possua um sistema de distribuição ou pontos de venda, e eu não - mas minha escolha não é entre vender bananas de varejo e vender bananas por atacado, mas vender bananas pelo preço mais alto possível, em comparação com não vender bananas.