Modelos estatísticos para memória / computação local, latência de rede e tremulação de largura de banda no HPC

A computação paralela é freqüentemente modelada usando uma taxa local determinística de computação, sobrecarga de latência e largura de banda da rede. Na realidade, são espacialmente variáveis ​​e não determinísticas. Estudos como Skinner e Kramer (2005) observam distribuições multimodais, mas a análise de desempenho parece sempre usar distribuições determinísticas ou gaussianas (não apenas imprecisas, é inconsistente devido à probabilidade positiva de latência negativa).

Modelos estatísticos de alta fidelidade foram desenvolvidos? Existe alguma correlação cruzada na variabilidade local de computação / memória, latência e largura de banda?

Da perspectiva da ciência da computação, não acho que faça sentido criar um modelo estatístico geral para o tempo de acesso à memória (latência) e largura de banda da memória.

Faz sentido criar um modelo estatístico para um algoritmo . Isso ocorre porque cada algoritmo tem um padrão de acesso à memória específico, os padrões de acesso à memória são relevantes para a hierarquia de cache, por exemplo, um algoritmo com alta localidade de dados tirará vantagem de caches de baixo nível, beneficiando de tempos de acesso à memória realmente rápidos, enquanto outros algoritmos terão que vá até a RAM (ou pior ainda, a memória de troca) e tenha tempos de acesso extremamente lentos.

Os valores de finalidade geral são dados do ponto de vista da arquitetura, você pode verificar sua arquitetura e pesquisar o tempo de acesso de um determinado núcleo para um determinado local de memória (digamos, cache L3). Esteja ciente de que as arquiteturas recentes são NUMA para acesso não uniforme à memória, o que tornará seu trabalho um pouco mais difícil.