Principal goulot d’étranglement des systèmes HPC actuels, la latence d’accès aux données limite toute amélioration significative de la performance des applications. Il pourrait cependant exister une solution à ce problème crucial. C-AMAT (Concurrent-AMAT) propose en effet un nouveau modèle destiné à accélérer sensiblement cet accès aux données.

Dr Xian-He Sun,
Chairman and Distinguished Professor,
Department of Computer Science,
Illinois Institute of Technology

Alors que les données sont la substance même des calculs, calculer rapidement est l’objectif par essence des ordinateurs. Au fil du temps et des avancées technologiques, vitesse de calcul et vitesse d’accès aux données se sont accrues. Toutefois, la première a progressé de façon nettement plus importante que la seconde. Ce faisant, l’écart de performance entre CPU et mémoire se creuse chaque jour un peu plus. Le temps d’accès aux données devient ainsi le principal frein à l’amélioration des systèmes HPC. Il s’agit du fameux, et crucial, problème du “memory wall“.

Nous avons été le premier groupe de chercheurs à noter l’importance du système mémoire pour la performance. Dès 1990, nous avons proposé le modèle memory-bounded [2], également appelé “loi de Sun-Ni”. Ce modèle révélait que l’accès aux données était le facteur clé de la performance et que la capacité mémoire limiterait le passage des calculs à l’échelle. La loi de Sun-Ni, avec la loi d’Amdahl et la loi de Gustafson, est maintenant connue comme l’une des trois lois fondamentales de l’évolution informatique. Elle est citée dans de nombreux ouvrages traitant du calcul parallèle. En 1994, le terme “memory wall” a été officiellement proposé, à partir du modèle AMAT (Average Memory Access Time). Du seul point de vue de l’accès à la mémoire, l’expression “memory wall” soulignait une fois de plus que la performance des systèmes de calcul intensif était limitée par la vitesse d’accès à la mémoire, et appelait en conséquence à ce qu’elle soit améliorée. Il s’en est suivi une vingtaine d’années d’intenses recherches dans ce sens. Aujourd’hui, 80 % (au minimum) des transistors qui composent nos processeurs actuels comme le Pentium Pro, l’Alpha 21164 ou le SA110 Strong ARM sont utilisés pour les caches plutôt que dans les unités de calcul. De nombreuses technologies avancées liées à la mémoire ont également été développées, notamment les mémoires concurrentes.

De façon aujourd’hui bien établie, la performance de la mémoire est évaluée sur la base du modèle AMAT. Pourtant, ce modèle créé il y a 50 ans ne considère que la localité des accès et ne tient pas compte de leur concurrence ou de leur simultanéité. Il est de ce fait inefficace pour mesurer la performance des systèmes mémoire actuels qui font de plus en plus appel aux accès concurrents pour améliorer leur performance. Faute d’alternative, et malgré cette incapacité à mesurer la concurrence des accès, AMAT reste la norme de fait pour l’évaluation des systèmes mémoire, tant pour l’industrie que pour la recherche universitaire. Le célèbre ouvrage d’Hennessy et Patterson sur l’architecture des processeurs [4] évoque également AMAT dans ce sens.

Le manque de prise en compte de la concurrence des accès mémoire est bien connu des chercheurs et des utilisateurs. Une nouvelle métrique, appelée MLP (Memory Level Parallelism) [5], a été proposée pour considérer les informations sur les accès concurrents. Or, MLP peut évaluer les accès concurrents mais pas la localité des données. De plus, en pratique, MLP doit nécessairement être utilisé avec AMAT. Enfin, pour être efficace, l’utilisation conjointe de ces modèles dépend de l’application visée. Le problème ici est que MLP est une métrique tandis qu’AMAT est un outil d’analyse. Lorsqu’on utilise MLP avec AMAT, les trois paramètres d’AMAT, H, MR et AMP perdent leur signification physique et ne peuvent donc plus être utilisés pour l’analyse de performance et les optimisations associées. En d’autres termes, si MLP est capable de mesurer les accès simultanés, il ne doit pas être associé à AMAT pour l’analyse des accès concurrents. C’est pour cette raison qu’Hennessy et Patterson, qui utilisent AMAT comme outil de référence pour l’évaluation des systèmes mémoire, prennent bien garde de mentionner ses restrictions.

[1] X. H. Sun, D. Wang, Concurrent Average Memory Access Time, in IEEE Computer, May 2014, IEEE Computer digital print (Digital Object Identifier : 10.1109/MC.2013.227).

[2] X. H. Sun and L. M. Ni, Another view on parallel speedup in Proceedings of IEEE Supercomputing Conference, Nov. 1990, pp. 324-333.

[3] W. A. Wulf and S. A. McKee, Hitting the memory wall: implications of the obvious, ACM SIGARCH Computer Architecture News, vol. 23, pp. 20-24, 1995.

[4] J. L. Hennessy and D. A. Patterson, Computer Architecture: A quantitative approach (5th edition): Elsevier, 2012.

[5] Y. Chou, B. Fahs, and S. Abraham, Microarchitecture Optimizations for Memory-Level Parallelism in Proceedings of the 31st International Symposium on Computer Architecture, June 2004.