Por que a RAM não é colocada no chip da CPU?

As CPUs modernas são muito rápidas em comparação com todas as coisas externas, incluindo memória (RAM).

É compreensível, uma vez que a frequência do clock da CPU atingiu um ponto em que são necessários vários tiques do relógio para que um sinal elétrico seja executado da CPU, passando pelo barramento, até os chips de RAM e retornando.

Isso também complica a vida em muitos níveis: hierarquias de cache em vários níveis são criadas para fornecer dados mais próximos à CPU, o que, por sua vez, exige lógica de sincronização complexa no chip. Os programas devem ser gravados de maneira amigável ao cache para evitar ciclos de espera enquanto os dados são buscados.

Muitos desses problemas poderiam ser evitados se uma quantidade significativa de RAM fosse localizada diretamente no chip da CPU. Ele não precisa de um acordo exclusivo: talvez coloque de 1 a 4 GB no chip, dependendo da classe e permita memória adicional instalada separadamente.

Tenho certeza de que existem boas razões para Intel, AMD e similares não estarem fazendo isso. Quais são esses motivos? Será que não há espaço de sobra no chip?

O Haswell da Intel (ou pelo menos os produtos que incorporam a GPU Iris Pro 5200) e o POWER7 e POWER8 da IBM incluem DRAM incorporada, "eDRAM".

Uma questão importante que levou o eDRAM a não ser comum até recentemente é que o processo de fabricação de DRAM não é inerentemente compatível com processos lógicos, de modo que etapas adicionais devem ser incluídas (que aumentam o custo e diminuem o rendimento) quando o eDRAM é desejado. Portanto, deve haver uma razão convincente para querer incorporá-lo para compensar essa desvantagem econômica. Como alternativa, a DRAM pode ser colocada em uma matriz separada que é fabricada independentemente da, mas depois integrada ao mesmo pacote da CPU. Isso fornece a maioria dos benefícios da localidade sem as dificuldades de fabricar os dois de uma maneira verdadeiramente integrada.

Outro problema é que a DRAM não é como a SRAM, pois não armazena seu conteúdo indefinidamente enquanto a energia é aplicada, e a leitura também destrói os dados armazenados, que devem ser gravados posteriormente. Portanto, ele deve ser atualizado periodicamente e após cada leitura. E, como uma célula DRAM é baseada em um capacitor, a carga ou descarga é suficiente para que o vazamento não corrompa seu valor antes que a próxima atualização leve algum tempo finito. Esse tempo de carregamento não é necessário com a SRAM, que é apenas uma trava; consequentemente, pode ser sincronizado com a mesma taxa que a CPU, enquanto a DRAM é limitada a cerca de 1 GHz, mantendo um consumo de energia razoável. Isso faz com que a DRAM tenha uma latência inerente mais alta que a SRAM, o que faz com que não valha a pena usar para todos, exceto os caches muito maiores, onde a taxa reduzida de erros será compensada.

Além disso, no que diz respeito à latência, grande parte da dificuldade é que os sinais físicos de distância devem percorrer. A luz pode viajar apenas 10 cm no período de clock de uma CPU de 3 GHz. Obviamente, os sinais não trafegam em linhas retas através da matriz e nem se propagam a algo próximo da velocidade da luz devido à necessidade de buffer e fan-out, que acarretam atrasos na propagação. Portanto, a distância máxima que uma memória pode estar da CPU para manter um ciclo de latência de 1 relógio é de alguns centímetros, no máximo, limitando a quantidade de memória que pode ser acomodada na área disponível. O processador Nehalem da Intel reduziu a capacidade do cache L2 em comparação com o Penryn, em parte para melhorar sua latência, o que levou a um desempenho mais alto. * Se não nos importamos tanto com a latência, não há razão para colocar a memória na embalagem,

Também deve ser observado que a taxa de acertos do cache é muito alta para a maioria das cargas de trabalho: bem acima de 90% em quase todos os casos práticos, e não incomumente acima de 99%. Portanto, o benefício de incluir memórias maiores no dado é inerentemente limitado a reduzir o impacto dessa pequena porcentagem de erros. Os processadores destinados ao mercado de servidores corporativos (como o POWER) geralmente têm caches enormes e podem incluir eDRAM de maneira lucrativa, pois é útil acomodar os grandes conjuntos de trabalho de muitas cargas de trabalho corporativas. Haswell tem para oferecer suporte à GPU, porque as texturas são grandes e não podem ser acomodadas no cache. Esses são os casos de uso da eDRAM atualmente, não as cargas de trabalho típicas de desktop ou HPC, que são muito bem atendidas pelas hierarquias de cache típicas.

Para resolver alguns problemas levantados nos comentários:

Esses caches de eDRAM não podem ser usados ​​no lugar da memória principal porque foram projetados como caches de vítima L4. Isso significa que eles são voláteis e efetivamente endereçáveis ​​ao conteúdo, para que os dados armazenados neles não sejam tratados como residindo em nenhum local específico e possam ser descartados a qualquer momento. É difícil conciliar essas propriedades com o requisito de que a RAM seja mapeada diretamente e persistente, mas alterá-las tornaria os caches inúteis para a finalidade a que se destinam. É claro que é possível incorporar memórias de um design mais convencional, como é feito em microcontroladores, mas isso não é justificável para sistemas com memórias grandes, pois a baixa latência não é tão benéfica na memória principal quanto em um cache, aumentando assim ou adicionar um cache é uma proposta mais interessante.

Quanto à possibilidade de caches muito grandes com capacidade da ordem de gigabytes, é necessário que um cache tenha no máximo o tamanho do conjunto de trabalho para o aplicativo. Os aplicativos HPC podem lidar com conjuntos de dados de terabytes, mas eles têm uma boa localidade temporal e espacial e, portanto, seus conjuntos de trabalho normalmente não são muito grandes. Aplicativos com grandes conjuntos de trabalho são, por exemplo, bancos de dados e software ERP, mas há apenas um mercado limitado para processadores otimizados para esse tipo de carga de trabalho. A menos que o software realmente precise, adicionar mais cache fornece retornos muito rapidamente decrescentes. Recentemente, vimos que os processadores obtêm instruções de pré-busca, para que os caches possam ser usados ​​com mais eficiência: é possível usar essas instruções para evitar erros causados ​​pela imprevisibilidade dos padrões de acesso à memória, em vez do tamanho absoluto do conjunto de trabalho,

* A melhoria na latência não se deveu apenas ao menor tamanho físico do cache, mas também porque a associatividade foi reduzida. Houve alterações significativas em toda a hierarquia de cache no Nehalem por vários motivos diferentes, nem todos focados em melhorar o desempenho. Portanto, embora isso seja suficiente como exemplo, não é uma conta completa.

Os principais motivos pelos quais a memória maior (GB de DRAM) não está incluída na matriz da CPU são principalmente custos. O espaço da matriz da CPU é significativamente mais caro devido ao processo de fabricação necessário para criar os recursos muito pequenos. Também pode não ser possível fabricar os dois no mesmo dado, embora eu não saiba o suficiente sobre os detalhes para dar uma resposta definitiva aqui.

Vamos avaliar a viabilidade de colocar uma grande quantidade de DRAM diretamente na matriz da CPU.

Para fazer uma comparação de escala, uma matriz de CPU moderna pode ter ~ 180 mm (tamanho aproximado da Intel Haswell morre). Não tenho números precisos para os tamanhos de matriz de DRAM da CPU, mas vamos supor que 1 GB de DRAM tradicional ocupa 140 mm (calculado a partir dos tamanhos de GPU DRAM). Para uma aproximação de primeira ordem, você praticamente dobrará o tamanho da matriz da CPU, o que significa pelo menos dobrar o custo de uma CPU e provavelmente mais apenas por 1 GB de DRAM na mesma matriz ... Não estou pagando várias centenas de dólares apenas para consiga 1 GB de DRAM e acho que ninguém conseguiria.$^2$$^2$

No entanto, a idéia de aproximar a memória da CPU não é uma causa completamente perdida. É provável que a memória se mova no futuro porque o fato é que a velocidade da luz é finita e só é possível se comunicar tão rápido a uma certa distância.

Técnicas realistas para mover a memória para mais perto da CPU (observe que elas também têm vantagens e desvantagens com as técnicas tradicionais):

1. Empilhe-os em cima da própria CPU. Isso já foi feito no Raspberry Pi e faz parte do padrão de memória Wide I / O. A memória ainda é uma matriz separada fabricada em um processo separado. No entanto, isso tem o problema de que qualquer calor dissipado na CPU deve passar pela memória antes de atingir um dissipador de calor. Isso significa que não funcionará para processadores de alta potência e por que os aplicativos principais dessa tecnologia estão em processadores móveis / outros aplicativos incorporados em que sua CPU não está consumindo muitas dezenas ou centenas de watts.

2. Coloque-os bem perto de um substrato de baixo custo. É assim que a HBM é projetada para funcionar, com um barramento muito grande fabricado em uma matriz de "interposer" de baixo custo e é a direção que a memória da GPU de ponta está seguindo, porque a largura de banda é significativamente maior. Os chips de memória e o interposer ainda são fabricados em matrizes diferentes do processador real.

Há várias razões pelas quais a adição de grandes quantidades de DRAM a uma CPU pode ser inviável.

1. O processo e a fab podem não estar configurados para DRAM. A DRAM requer elementos especiais de circuito que executam etapas extras de fabricação. Isso aumenta o custo de fabricação.

2. Toda essa memória precisa ser testada. O teste de memória aumenta o tempo de teste. Esse é outro aumento de custo.

3. Aumentar a matriz é em si um aumento de custo, pois significa menos matriz por bolacha. Também afeta o rendimento - um defeito retira uma fração maior da sua bolacha. Para um exemplo extremo disso, veja o custo dos sensores de imagem de quadro inteiro (35 mm) nas câmeras.

4. Desenvolver um processo que pode lidar com tipos especiais de memória requer mais tempo, dinheiro e trabalho e apresenta um risco maior de falha. Qualquer problema com a DRAM atrasaria o lançamento da CPU. As CPUs de desktop estão na vanguarda da fabricação de semicondutores, portanto, um atraso pode ser uma enorme desvantagem competitiva. (Veja: AMD vs. Intel nos últimos anos.)

5. A DRAM requer detecção analógica para leituras, bem como atualização periódica. Não sou especialista em DRAM, mas duvido que possa ser tão rápido quanto uma CPU de ponta, independentemente de estar fora ou fora do chip. Portanto, você provavelmente ainda ficará preso ao cache da SRAM.

6. Mesmo que você possa superar os problemas acima e colocar alguns gigabytes de DRAM em uma matriz de CPU, ainda não será suficiente para executar um PC desktop, laptop ou servidor, portanto, você terá que ter memória fora do chip .

Além das outras respostas, há mais a ser dito sobre esse sistema. Mover a memória para a matriz principal incluiria uma série de outros problemas de engenharia. Você teria que redirecionar os barramentos, construir um controlador DMA no processador principal, reestruturar o barramento IRQ e determinar como se livrar de todo o calor extra que você estaria lançando em uma área concentrada. Isso significa que o fabricante da placa-mãe também teria que se envolver para suportar uma mudança tão substancial. Embora os sistemas low-end provavelmente se beneficiem dessa mudança, os sistemas high-end provavelmente exigiriam refrigeração substancial. Duvido que o laptop comum possa lidar com esse chip, por exemplo.

Esse chip seria muito mais caro, embora a placa-mãe principal caísse de preço (embora provavelmente não seja apreciável). Se você viu os pacotes para um controlador DMA, além dos pacotes de RAM, seria difícil acreditar que toda essa lógica poderia ser pressionada em um único molde que não seria substancialmente maior. Lembre-se também de que as CPUs são cortadas de grandes bolachas de um tamanho específico. Isso significa que o fabricante também teria muito menos processadores por bolacha, o que aumentaria também o custo geral.

Lembre-se de que não estamos falando sobre o uso de potência em todo o sistema, o que diminuiria, mas sim que haveria ainda mais concentração de potência (e, portanto, calor) em uma única área, o que provavelmente aumentaria a probabilidade de falha.

Finalmente, há outra desvantagem aqui, e essa é a capacidade de fornecer sistemas personalizados. No momento, os fabricantes podem optar por instalar sistemas com processadores idênticos, mas com quantidades diferentes de memória, ou processadores diferentes, mas com a mesma quantidade de memória, com base nas preferências do cliente. Para oferecer uma infinidade de configurações diferentes, eles teriam que construir matrizes diferentes, cada uma em uma linha de montagem diferente.

A AMD está usando ativamente a tecnologia que realmente funciona dessa maneira, onde cada parte da matriz do processador é uma unidade lógica discreta que pode ser trocada por diferentes configurações. No futuro, se esse projeto for viável, poderíamos muito bem ver as CPUs que oferecem memória no chip como uma atualização cara do módulo, talvez trocando algum poder de processamento em troca ou outros ajustes. Por exemplo, um dia poderemos escolher entre 256 núcleos sem memória interna ou 128 núcleos com memória interna ou talvez até outras configurações como GPU parte, CPU parte, RAM.

Quase todo o exposto acima + mais um problema adicional: o calor.

As células DRAM são essencialmente capacitores com vazamento. E o dielétrico aqui é a própria camada de SiO2. À medida que a temperatura aumenta, as correntes de fuga aumentam proporcionalmente. Isso descarrega as células DRAM muito mais rapidamente, o que exigiria taxas de atualização muito mais rápidas, o que aumentaria a complexidade, a corrente necessária e, é claro, adicionaria um pouco mais de calor.

Além das respostas já dadas, há um aspecto adicional: Os resíduos devido a falhas de produção:

Digamos que 1/100 de todas as CPUs de um determinado modelo produzido estejam com defeito (na realidade, é menos, é claro; 1/100 é mais fácil de calcular) e 1/100 de todas as RAMs produzidas estão com defeito.

Se os dois componentes fossem combinados em um único chip, 1/100 de todos os chips teriam uma CPU com defeito e 1/100 de todos os chips teriam uma RAM com defeito.

Isso significaria:

• 1 de 10000 chips teria RAM e CPU com defeito
• 99 chips teriam RAM com defeito
• 99 chips teriam uma CPU com defeito
• Ao todo, 199 das 10000 peças produzidas seriam resíduos

Produzindo chips separados, o cálculo é o seguinte:

• 50 de 5000 RAMs estão com defeito
• 50 de 5000 CPUs estão com defeito
• 100 das 10000 peças produzidas seriam resíduos

Observe que um GB de RAM normalmente é feito na forma de um banco composto por oito chips, portanto você não precisaria combinar dois, mas nove componentes em um chip, se quiser colocar RAM e CPU no mesmo chip. Isso levaria a cerca de 865 partes defeituosas de 10000 produzidas no exemplo simples acima.

As CPUs "IBM Cell" tinham exatamente esse problema. O console "Playstation" usava chips parcialmente defeituosos; o software Playstation foi escrito de forma que os núcleos e SRAMs defeituosos não foram usados.

Na verdade, existem dois tipos de RAM. Eles são RAM estático e RAM dinâmico. A memória estática é muito rápida, mas tem um custo mais alto. Enquanto isso, a RAM dinâmica é lenta em comparação com a RAM estática, mas tem um custo barato em comparação à RAM estática.

A memória cache fica na RAM estática. você pode ver que eles vêm nos tamanhos KB ou MB. Eles são rápidos. Mas alto custo.

Além dos outros motivos mencionados, muitos sistemas têm mais de um núcleo de CPU. Às vezes, quando as informações armazenadas na DRAM principal são consistentes com todas as cópias em cache, todos os processadores que não possuem as informações em cache terão acesso igual a elas. Algumas arquiteturas são projetadas com base no pressuposto de que cada núcleo da CPU "possui" um intervalo de espaço de endereço e, mesmo que uma CPU seja capaz de acessar a memória pertencente a outros processadores, esses acessos serão muito mais lentos do que os acessos à sua própria memória , mas o x86 geralmente não é implementado dessa maneira.

Se um sistema fosse projetado com base na suposição de que os núcleos do processador possuem determinados intervalos de endereços e o código deveria tentar minimizar o uso dos intervalos de endereços de outros processadores, faria sentido que cada código do processador incluísse uma quantidade generosa de memória no chip. Esse design pode reduzir o tempo necessário para o núcleo do processador acessar sua própria memória, mas provavelmente aumentaria o tempo necessário para acessar a memória de outro processador. A menos que o sistema seja projetado com base em tal suposição, no entanto, é provável que os dados sejam distribuídos entre os processadores, sem levar em consideração quem precisa quando. Mesmo se o tempo extra necessário para acessar dados de outra CPU (em comparação com um sistema de memória externa) fosse apenas metade do tempo economizado em um acesso interno,

Se alguém estivesse projetando um sistema do zero para se adequar às tecnologias atuais, uma arquitetura de memória não uniforme poderia permitir mais vantagens do que aquela que precisa permitir que todos os processadores acessem toda a memória com eficiência. Dado o design de software atual, no entanto, ter um sistema de memória externa compartilhado entre processadores é mais eficiente do que tentar armazenar em massa dados dentro dos próprios processadores.

Embora todas as respostas anteriores estejam corretas em apontar por que é tão difícil adicionar mais memória à CPU, também é verdade que há bastante memória nas CPUs modernas.

Em operações em tempo real, quando atrasos determinísticos são importantes, não é inédito o uso do cache no chip como memória endereçável, para código e / ou dados. A vantagem é o tempo de acesso rápido e constante e a desvantagem é que a memória no chip é bastante limitada.

Os problemas que você descreve na sua pergunta original só poderiam ser evitados se TODA a memória da máquina estivesse incluída na CPU. Qualquer memória adicional adicionada à máquina através de slots na placa principal estaria sujeita aos mesmos atrasos que você descreve e exigiria dispositivos de empacotamento e controle lógico entre a CPU / RAM e a RAM integrada.

A RAM é barata e normalmente é expandida pelos usuários uma ou duas vezes entre a atualização de suas CPUs.

Lembre-se também de que uma chamada típica "Buscar" levará, mesmo se a RAM estiver executando na velocidade do relógio da CPU, levar a vários tiques ociosos na CPU.

A organização tradicional da memória em uma máquina é uma pirâmide com os registros da CPU no topo, depois o cache, a RAM e o disco. Normalmente, as máquinas com bom desempenho têm uma combinação de uma velocidade de clock decente, uma quantidade razoável de cache, uma boa quantidade de RAM e um disco rígido (ou matriz) de alta velocidade. Nos últimos anos, o desempenho do disco normalmente oferece o melhor desempenho na maioria dos PCs e discos de alta RPM, discos com cache e discos de estado sólido oferecem um bom aumento de desempenho.

Sim, uma máquina com toda a sua RAM no chip funcionaria bem em aplicativos modernos, mas uma máquina com parte da sua RAM no chip executando um sistema operacional padrão provavelmente não forneceria o aumento de desempenho que você pode imaginar.