5 – L’UberCloud HPC Experiment accélère le HPC dans le Cloud

En théorie, le Cloud Computing et les technologies émergentes qui lui sont attachées (virtualisation, plateformes d’accès web avec boîtes à outils intégrés, piles applicatives accessibles à la demande…) permettent à la recherche et à l’industrie d’utiliser des ressources informatiques supplémentaires de façon élastique, quand elles en ont besoin. Mais la théorie peut désormais se vérifier. L’UberCloud HPC Experiment [9] offre en effet aux chercheurs et aux ingénieurs une plateforme qui leur permet d’explorer, d’apprendre et de comprendre de bout en bout le processus d’accès et d’utilisation du HPC dans le Cloud, d’identifier les difficultés et de résoudre les blocages techniques. Son principe est simple : il vise à créer des équipes constituées d’utilisateurs, de fournisseurs et d’experts HPC pour les faire collaborer à la résolution de problèmes de simulation concrets.

Depuis juillet 2012, l’UberCloud HPC Experiment a réuni plus de 1100+ organisations émanant de plus de 66 pays. Les organisateurs ont été en mesure de constituer 125 équipes dans des domaines tels que la CFD, le FEM ou la bio-informatique, et de publier plus de 60 articles sur le programme UberCloud, y compris plusieurs études de cas sur les applications utilisées et les leçons qui en ont été tirées. Récemment, l’UberCloud TechTalk et une exposition virtuelle [10] ont vu le jour, tandis qu’un recueil de 25 études de cas (sponsorisé par Intel) a été publié [11].

5.A – Historique de l’UberCloud HPC Experiment

Inspirée par les résultats du rapport Magellan [12], l’idée de l’UberCloud HPC Experiment est née en mai 2012, alors que nous comparions les niveaux d’adoption du Cloud Computing pour les applications d’entreprises et pour les applications HPC. Du côté entreprises, le recours au Cloud est en augmentation constante (environ 41,3 % de croissance annuelle jusqu’en 2016 selon Gartner [13]). Du côté HPC, les chiffres restent à l’inverse assez faibles. Des raisons objectives peuvent expliquer ce différentiel : licences logicielles peu flexibles, lenteur du transfert des données, sécurité des données et des applications et manque de caractéristiques architecturales spécifiques (d’où moindres performances réelles). L’idée maîtresse de l’UberCloud HPC Experiment a été de mieux comprendre le processus de mise en place des applications d’ingénierie dans le Cloud pour mieux caractériser les blocages et ainsi mieux les surmonter. Le projet a effectivement démarré en juillet 2012.

5.B – Une approche pratique

Les composants technologiques du HPC-as-a-Service, qui autorisent un accès distant à des ressources centralisées et la mesure de leur utilisation, ne sont pas inconnus de la communauté. Mais les utilisateurs restent sur la défensive vis-à-vis des offres qui se développent actuellement. Or, il est aujourd’hui acquis que nous disposons des briques techniques requises pour une implémentation efficace. Commençons donc par définir le rôle que chaque acteur (utilisateurs, fournisseurs de ressources, fournisseurs d’application et experts HPC) doit tenir pour que le HPCaaS devienne possible.

L’utilisateur final – L’exemple typique est celui d’une PME en phase de conception produit ayant besoin de réaliser un prototype innovant. Ce profil est idéal pour l’utilisation de services HPC à la demande lorsque les calculs sur les stations de travail deviennent trop longs et que l’acquisition de puissance supplémentaire sous la forme d’une machine HPC est trop lourde financièrement. D’autant que le calcul intensif fait rarement partie des domaines d’expertise de l’entreprise.

Le fournisseur d’applications – On parle ici des propriétaires de codes de tous types – ISV, éditeurs de solutions Open Source et développeurs individuels. L’UberCloud Experiment préfère en général des logiciels totalement opérationnels pouvant être utilisés à grande échelle. Dans ce cadre, l’utilisation de licences à la demande est tracée dans le but de définir la pertinence du modèle à la demande en tant que source de revenus.

Le fournisseur de ressources HPC – Il s’agit de toute organisation disposant en propre de ressources HPC (calculateurs et systèmes de stockage) reliées au monde extérieur. Entrent dans cette catégorie les centres de calcul mais aussi les centres de données standards utilisés pour gérer les batch jobs, ainsi que les entreprises commerciales disposant d’un cluster et acceptant de proposer des charges de travail non concurrentielles pendant les périodes de faible utilisation des CPU.

Les experts HPC – Ce groupe comprend les personnes et les entreprises ayant une expertise HPC, en particulier dans la gestion de clusters. Il comprend également les spécialistes de domaines scientifiques de niveau PhD ayant des compétences applicatives avérées. Dans l’UberCloud HPC Experiment, les experts jouent le rôle de chefs d’équipe ; les utilisateurs, les centres informatiques et les fournisseurs d’applications les aident à assembler les morceaux du puzzle.

Supposons par exemple que l’utilisateur ait besoin de ressources informatiques supplémentaires pour améliorer la conception d’un produit (modélisations physiques ou de géométries sophistiquées, avec de nombreuses simulations). La tâche requiert une pile logicielle spécifique, une expertise dans le domaine et une configuration matérielle appropriée. L’idée est donc de définir les tâches de l’utilisateur, de rassembler les logiciels dont il a besoin et de sélectionner les ressources et l’expertise requises pour atteindre l’objectif.

Avec le cas échéant quelques conseils de l’équipe UberCloud Experiment, l’utilisateur, le fournisseur de ressources et l’expert HPC réaliseront la mise en place et livreront les résultats à l’utilisateur. Les fournisseurs de ressources et de logiciels mesurent leur l’utilisation, l’expert HPC résume les étapes d’analyse et de mise en place, l’utilisateur évalue la qualité de la procédure et les résultats ainsi que le degré de convivialité de la solution. Les gestionnaires d’UberCloud Experiment analysent ensuite les retours et l’équipe se réunit pour tirer les leçons et proposer des recommandations pour une nouvelle étude de cas.

5.C – Un work in progress

Pour les équipes, la procédure complète de mise en production des applications dans le Cloud, de réalisation des calculs et de livraison des résultats a été structurée en 23 étapes clairement identifiées. Une Université UberCloud a été créée, qui propose régulièrement des formations à la communauté, tandis qu’un guichet unique UberCloud [10] propose un catalogue des services HPC dans lequel les membres de la communauté peuvent présenter leurs solutions ou sélectionner celles qu’ils souhaitent utiliser. La plupart des équipes UberCloud publie largement les résultats obtenus (voir par exemple l’article de Sam Zakrzewski et Wim Slagter d’ANSYS “On Cloud Nine” [14]). Enfin, il faut mentionner le HPCwire Readers’ choice Award reçu par UberCloud à SC’13 pour la “meilleure implémentation HPC Cloud” [15].

[10] The UberCloud Services Exhibit.

[11] The UberCloud HPC Experiment: Compendium of Case Studies. Intel, June 25, 2013.

[12] Katherine Yelick, Susan Coghlan, Brent Draney, Richard Shane Canon. The Magellan Report on Cloud Computing for Science, Déc. 2011.

[13] Gartner Predicts Infrastructure Services Will Accelerate Cloud Computing Growth. Forbes Février 2013.

[14] Sam Zakrzewski & Wim Slagter. On Cloud Nine. Digital Manufacturing Report. 22 avril 2013.

[15] The UberCloud Receives Top Honors in 2013 HPCwire Readers’ Choice Award, 27 novembre 2013.