HDF5 > ExaHDF5
By   |  July 11, 2013

En marge de la session du Forum Teratec 2013 animée par Sudip Dosanjh, un des directeurs du NERSC américain, on a appris que le Centre avait réalisé une simulation de physique de taille impressionnante, d’abord destinée à valider des concepts techniques mais qui s’est révélée ensuite aboutir à une réelle découverte scientifique. Pour résumer, la simulation mettait en œuvre 10 datasets distincts de l’ordre d’un trillion de particules chacun. L’objectif était de voir comment le format de conteneur de fichiers HDF5 (Hierarchical Data Format – implémentation 5) tiendrait la charge, et quel niveau de performance pourrait être atteint. Au terme de l’expérience, exécutée sur Hopper, le supercalculateur du Centre, l’équipe a observé un débit E/S soutenu de 27 Go/s, pour une mobilisation de ressources de l’ordre de 80 % au niveau calcul, 90 % au niveau mémoire et 50 au niveau du système de fichiers Lustre.

Ces chiffres, qui montrent des niveaux de crête soutenables, ont l’avantage de confirmer les possibilités de dimensionnement de HDF5, et donc de valider la poursuite des travaux sur la version ExaHDF5, dont on attend beaucoup pour le passage à la prochaine échelle. Et, comme évoqué plus haut, la science y a aussi trouvé avantage. En utilisant VPIC, une application de physique des plasmas qui décrit comment les particules se comportent en reconnexion magnétique (aurores boréales, éruptions solaires…), l’expérience a permis de mettre en évidence un mécanisme de distribution des particules dans le spectre énergétique dont on supposait l’existence mais qui n’avais jamais pu être vérifié auparavant. Plus d’infos sur le site de NERSC (page dédiée).

 

© HPC Today 2022 - All rights reserved.

Thank you for reading HPC Today.

Express poll

Do you use multi-screen
visualization technologies?

Industry news

Brands / Products index