Dénuée de sens, la dictature de Linpack sur l’écosystème HPC devient aujourd’hui contre-productive – techniquement, financièrement et politiquement. Il est temps de jeter un autre regard sur les progrès technologiques qui restent à accomplir…

Frédéric Milliot
Directeur de la rédaction, HPC Today.

C’est un article qui a fait beaucoup de bruit il y a quelques mois. Pour Bill Kramer, Deputy Project Director pour Blue Waters à la NCSA américaine, le bon vieux TOP500, qui sert de benchmark à l’ensemble de l’industrie HPC, ne veut plus rien dire – pour autant qu’il ait jamais été réellement signifiant.

Petit rappel des faits. Le TOP500, qu’on ne présente plus, a aujourd’hui plus de 20 ans. Son objectif initial était de mesurer la performance des supercalculateurs, enjeu devenu au fil des années autant politique que purement scientifique. Pour ce faire, il se fonde sur un test unique, Linpack, que chacun connaît. Or, si Linpack établit un niveau de performance maximale en calcul matriciel, il ne fait guère que cela. Et c’est là, d’abord, que le bât blesse. Cette mesure ne reflète en rien les usages réels de nos machines, ni en termes de puissance soutenue, ni, bien sûr, en termes de gestion des données, laquelle constitue le front commun des problématiques d’aujourd’hui. Autrement dit, ce passage obligé qu’est le ranking au TOP500 n’a plus de sens opérationnel, mais reste un élément clé pour les pouvoirs publics ou privés qui financent les projets, allouent les ressources ou arbitrent les budgets. De là découlent – les cas sont légion – des configurations plus appropriées au passage du test qu’aux besoins réels des utilisateurs auxquelles elles se destinent.

Cet état de fait s’assombrit encore quand on se place dans l’optique prochaine de l’exascale. Car si Linpack n’a plus grand chose à voir avec les pratiques concrètes d’aujourd’hui, il devient franchement déconnecté de la réalité quand on considère que l’essentiel du travail vers l’exascale devra porter sur la bande passante mémoire, sur les interconnexions entre les nœuds et sur l’efficacité énergétique. Sacrifier ces aspects dits périphériques aux flops de crête rend nos machines difficiles à programmer donc à utiliser, et garantit leur obsolescence à moyen terme.

Pour s’adapter aux contraintes du ranking, un certain nombre de systèmes sont testés en cours d’assemblage. On peut alors, après coup, compenser les déséquilibres les plus flagrants. Mais on est là à la limite de l’honnêteté intellectuelle.

Dans un contexte où le TOP500 garderait sa primauté dans la communauté, plusieurs solutions peuvent être envisagées. D’une part, il ne faudrait l’appliquer que sur des systèmes effectivement en service sur leur site final. D’autre part, il faudrait l’augmenter d’indicateurs relatifs aux sous-systèmes mémoire et I/O, et de mesures transverses fondées sur des suites applicatives plus en rapport avec l’utilisation quotidienne en production. Enfin, Bill Kramer plaide pour l’adjonction à la mesure d’une indication de coût réel, de sorte que le ratio entre les deux évalue avec plus de pertinence le performance réelle du système.

A bien y réfléchir, la solution est sans doute ailleurs. Affiner la métrologie est une bonne chose ; l’usage des technologies HPC ne se limite plus depuis longtemps à l’algèbre linéaire en virgule flottante. Mais pourquoi ne pas imaginer une liste universelle qui au TOP500 réformé ajouterait ce que sont devenues aujourd’hui les listes Green500 et Graph500. L’intérêt qu’elles ont suscité à SC12 montre l’importance des problématiques soulevées et confirme leur prise en compte croissante dans les évaluations des projets. En se démocratisant, en devenant plus hétérogène et surtout nettement plus puissant, le HPC change d’ère. Il est temps que la mesure des progrès accomplis – ou restant à accomplir – change aussi.