Fini, le Linpack ? Oubliés, les machoflops ? Si l’ère du HPC purement orienté calcul est loin d’être révolue, les temps changent. Considérée désormais comme déterminante pour la réussite des projets, la gestion des données HPC implique pour la communauté une mise à jour des pratiques, des stratégies d’investissement et… du benchmarking.

Steve Conway
Vice-President, IDC, en charge du secteur HPC.

Le marché HPC serait-il en train de se réinventer ? Depuis quelques années, les architectures systèmes s’éloignent de plus en plus d’un équilibre optimal entre vitesse des processeurs, performance des accès mémoire et taux de transferts en entrées/sorties. Clairement, les dernières générations de clusters HPC se distinguent par des capacités de calcul en accroissement constant sans pour autant que les performances ni les capacités mémoire ne suivent. Résultat : nos systèmes sont devenus plus ou moins totalement “compute centric“, de sorte que la trop fameuse barrière mémoire ne fait qu’empirer. Le problème, c’est qu’on est aujourd’hui entrés de plain-pied dans l’ère du Big Data. Dans un nombre croissant de contextes applicatifs, ce qui compte désormais, ce sont les capacités mémoire et E/S – au moins autant les prouesses itératives des seuls processeurs.

Car les tâches fortement orientées données telles que l’analyse à hautes performances sont en voie de prendre le pouvoir. Ce constat explique, au moins en partie, que le marché du stockage est celui qui présente le plus fort taux de croissance dans l’écosystème HPC. Selon les projections à cinq ans d’IDC, on est sur une progression annualisée avoisinant 9 % – de 2,8 Md€ en 2011 à 4,3 Md€ en 2016 – soit un bond en valeur de 51 % sur la période.

En toute logique, l’explosion du nombre de ces problématiques orientées données agit comme un révélateur des faiblesses des plateformes HPC – faiblesses par rapport à la barrière mémoire évoquée plus haut mais également par rapport à la façon dont les architectures orientées calcul assurent les échanges à travers l’ensemble du système. Il est donc devenu indispensable que de gros progrès soient faits dans ce domaine, faute de quoi ces problèmes d’analyse de données complexes vont rapidement se révéler ingérables, tant du point de vue technique que de celui des coûts associés.

Les études d’IDC montrent que la communauté HPC envisage grosso modo deux stratégies pour les résoudre. La première, évidemment,  vise à réduire ces échanges partout où c’est possible. La seconde, plus technique, consiste à les accélérer au travers de réseaux d’interconnexions plus efficaces. On parle ici de développements à partir de solutions établies telles celles de Mellanox ou de Cisco, mais également d’un certain nombre d’initiatives émanant de fondeurs ou de constructeurs qui se focalisent sur l’intégration des composants et l’élimination des goulets d’étranglement : technologie SeaMicro d’AMD, rachat des actifs InfiniBand de QLogic par Intel, interconnexions propriétaires de Cray… 

Le stockage et la consommation des données ne peuvent donc plus être considérés comme des points secondaires. La transition vers un nouvel équilibre entre puissance de calcul, volume des échanges et efficacité du stockage nécessite de nouvelles pratiques de conception et d’acquisition. L’habitude bien ancrée d’orienter les budgets pour maximiser la puissance de crête et la performance Linpack – appelons-les “machoflops” – doit céder la place à une meilleure prise en compte des besoins des utilisateurs en matière de performance soutenue et d’efficacité dans la production de résultats. Bonne nouvelle, le mouvement est enclenché. Le National Center for Supercomputing Applications (NCSA) américain, par exemple, ne communique plus les chiffres HPL de ses calculateurs aux animateurs du Top500. Celui-ci va certainement rester la référence pour le recensement des gros clusters mondiaux – et pour l’identification de grandes tendances les concernant – mais dans un contexte ou le flop-centrisme n’est plus de mise, il est grand temps que la communauté invente un benchmark plus en rapport avec ses propres besoins.