Um trabalho típico na Blue Waters está usando cerca de 10% da máquina e consome um total de 75 horas de nó . O Blue Waters possui cerca de 27500 nós, o que significa que alguns desses trabalhos de "75 nós hora" estão sendo executados em apenas alguns minutos. Isso permite que os cientistas usem a máquina de maneira um pouco interativa. (Você pode ver as médias móveis aqui: http://xdmod.ncsa.illinois.edu/#tg_usage:group_by_Jobs_none )
Supercomputadores são apenas grandes coleções de computadores menores. A principal razão pela qual os reunimos em um só lugar é que podemos compartilhar o custo com mais eficiência dessa maneira. Você está tentando criar um computador que pode dar muito trabalho e para o qual o custo total de propriedade (o custo total do computador, a energia e a manutenção) é minimizado durante a vida útil do computador.
Existem vários fatores envolvidos no custo total de propriedade: O custo do equipamento é um. Para minimizar o custo de propriedade, você deseja que o equipamento faça um trabalho útil na maior porcentagem de tempo possível (idealmente 100% do tempo, realisticamente um pouco menos, como 95% seria considerado bom), até que o equipamento se queime ou se torna obsoleto. Por outro lado, o computador do seu laptop ou telefone provavelmente está em uso menos de 10% do tempo em que você o possui (você está dormindo 33% do tempo, está comendo e relaxando cerca da metade do tempo em que está acordado e mesmo quando você está "usando" o computador, o processador fica ocioso na maioria das vezes.)
O segundo é o custo da energia. Existem várias partes disso: a primeira é o custo do próprio poder. Parte desse custo é consumida no transporte da energia da usina para o computador. Parte disso é perdida na "fonte de alimentação" do computador (que está apenas convertendo a energia CA em energia CC). Um conversor CA-> CC maior geralmente pode ser mais eficiente. Além disso, os computadores transformam energia elétrica útil em calor residual. Então você também precisa pagar para remover o calor. Novamente, os aparelhos de ar condicionado maiores geralmente podem ser mais eficientes do que vários aparelhos de ar condicionado pequenos.
O terceiro é o custo de manutenção. Reunindo vários computadores e projetando-os para que, quando um deles fica parado, o restante continue funcionando, você pode amortizar o custo da equipe de manutenção em um número muito maior de nós de computadores do que você faria se os nós fossem todos diferentes e colocados em edifícios diferentes (ou cidades).
Os detalhes: Blue Waters tem 288 armários. Cada gabinete possui 96 "nós". Cada nó é um computador high-end bastante normal. A maioria dos nós possui 2 processadores AMD Opeteron 6276 em 2,3 GHz e 64 GB de DRAM. Cerca de 1/6 dos nós têm um único AMD Opteron 6276, uma GPU NVidia K20 e 38 GB de DRAM. Se você quiser, poderá comprar algo semelhante a um "nó" por cerca de US $ 3000 ou US $ 4000 e colocá-lo na sua sala de estar para jogar videogame. Blue Waters possui cerca de 27648 nós. https://bluewaters.ncsa.illinois.edu/hardware-summary
Cada nó provavelmente consome um pouco mais de 500 Watts e transforma essa energia em calor. Se você tivesse um nó em sua sala para jogar videogame, isso não seria um grande problema. Ele consumiria eletricidade da tomada e geraria tanto calor quanto um pequeno aquecedor pessoal. No inverno, seria agradável e aconchegante. No verão, você teria que ligar o ar condicionado com mais frequência para manter sua casa confortável. Se você tivesse a potência máxima o dia inteiro, sua conta de eletricidade aumentaria consideravelmente, talvez o dobro do que você está consumindo agora.
Mas quando você junta 27648 deles, ele consome cerca de 15 Megawatts e gera uma quantidade correspondentemente grande de calor. A verdadeira maravilha da engenharia da Blue Waters, como qualquer grande data center, é o próprio edifício. É uma enorme caixa refrigerada. O edifício Blue Waters é particularmente interessante porque é incrivelmente eficiente. Cerca de 85% da energia que entra no prédio é realmente usada para executar os nós. Acredito que li em algum lugar (não consigo encontrá-lo no momento) apenas 15% é perdido na conversão de energia e na remoção do calor residual. Isso é muito melhor do que o que você obteria do computador para jogos de 500 Watts na sua sala de estar. Você provavelmente precisaria de uma "fonte de alimentação" de 750 Watts e mais algumas centenas de Watts para ligar o ar condicionado.
TL; DR
Vamos juntar tudo. Ao reunir milhares de computadores menores e espalhar o uso entre muitas pessoas, mantemos esses computadores funcionando a maior parte do tempo, compartilhando os recursos de uma maneira muito eficiente. Custa muito dinheiro para fornecer às pessoas computadores que ficam ociosos a maior parte do tempo. A melhor maneira de economizar dinheiro com computação é fazer com que as pessoas compartilhem os computadores para que eles estejam ocupados a maior parte do tempo.
O Blue Waters é muito mais do que apenas os computadores dentro dele. Foi especialmente projetado para ser o mais eficiente possível em termos de energia. Parte disso envolve colocá-lo perto de usinas para reduzir as perdas de energia nas linhas de transmissão de energia. Aqui está uma imagem de satélite da parte de Champaign IL contendo Blue Waters para demonstrar:
