Bâtir une place de marché pour l’écosystème HPC des ingénieurs, scientifiques et fournisseurs de service Cloud

By Wolfgang Gentzsch and Burak Yenier | October 20, 2015

Une place de marché HPC dans le Cloud : un rêve utopique ?
Quand nous avons démarré UberCloud 2012, Chaque entrepreneur et investisseur en capital risque de la Silicon Valley parlait de start-ups comme Uber et Airbnb. Bien qu’il existe de nombreuss places de marché en ligne auparavant, ces dernier ont fait la une de tous les médias en raison de leur approche ingénieuse et disruptive qui ont ébranlé le secteur des taxis et des hôtels, des entreprises pourtant établies de longue date. Influencé par cet énorme battage médiatique, il était évident pour un vétéran du HPC et du Cloud (c’est-à-dire nous) pour réfléchir autour d’un projet de place de marché en ligne pour le HPC en tant que service. Nous avons cependant rapidement constaté qu’il n’existait pas d’informations solides sur l’expérience des utilisateurs finaux, ni d’études de marché fiable sur le HPC dans le Cloud. Bref, rien de solide à quoi se fier. Nous avons donc décidé d’abandonner la logique « Build It He Will Come », qui consistait à établir un service pour espérer trouver des clients à qui le vendre, qui n’aurait pas fonctionné en matière de HPC. Les ingénieurs et les scientifiques ont tendance à être plus réalistes…

Nous avons financé notre plateforme en crowdsourcing et invité les communautés dss ingénieurs et scientifiques à participer à l’Ubercloud

Afin de poursuivre ce projet, nous avons choisi une approche crowd-sourcing et invité la communauté d’ingénieurs et scientifiques à participer à notre plateforme technologique d’expérimentation UberCloud Experience afin de recueillir leurs commentaires et suggestions. Nous avons ainsi pu développer la communauté UberCloud parrainé par Intel) avec 175 expériences sur le Cloud, la technologie de conteneurs HPC basée sur Docker, et enfin la place de marché UberCloud avec actuellement 30 offres de services et environ 100 produits cloud.

L’écosystème UberCloud
Une plateforme d’information communautaire, 175 expériences libres et volontaire, des conteneurs HPC basés sur Docker, et une place de marché constitué de 30 offres de services et 100 produits Cloud.

Dans les coulisses d’Ubercloud
Mi-2012, les études de marché nous laissaient supposer une adoption lente du Cloud dans les domaines scientifiques et de l’ingénierie alors que de nombreuses entreprises l’utilisaient déjà largement. Nous avons donc décidé de démarrer quelques expériences grandeur nature avec les ingénieurs pour porter leurs applications vers le cloud. Le premier appel à participation en Juin 2012 a attiré un nombre étonnant de 160 entreprises de plus de 30 pays, et nous avons été en mesure d’effectuer 25 expériences UberCloud.

L’expérience UberCloud
Une plateforme en ligne pour les ingénieurs, les scientifiques, les fournisseurs de services pour découvrir, explorer et comprendre le HPC dans le Cloud

L’expérience UberCloud fournit une ligne plate-forme pour les ingénieurs, les scientifiques, et leurs fournisseurs de services pour découvrir, explorer, et comprendre le processus de bout en bout d’accéder et d’utiliser le HPC dans le Cloud, afin d’identifier et de résoudre les obstacles. Les utilisateurs finaux, les fournisseurs de logiciels, les fournisseurs de ressources, et les experts HPC collaborent en équipe et résolvent ensemble les demandes des utilisateurs. De cette façon, nous avons pu mener à bien 13 expériences. Les 12 autres équipes ont échoué pour des raisons différentes, telles que: l’éditeur de logiciels n’a pas été en mesure de fournir le support technique nécessaire pour l’expérience; l’utilisateur final n’a pas obtenu l’approbation de sa hiérarchie; ou encore l’utilisateur final a abandonné faute de disponibilité. A ce jour, mi-2015, l’expérience UberCloud a attiré plus de 3000 organisations provenant de 72 pays, ce qui nous a permis d’établir 175 équipes jusqu’ici. Récemment, le marché UberCloud ^[9] a été ajoutée, et Intel parrainé 2 Compendiums (et un troisième est en préparation) qui contient plus de 60 études de cas Cloud. Les PME qui visent le développement de meilleurs produits plus rapidement sont invités à se joindre à l’expérience volontaire Ubercloud gratuitement pour explorer le HPC comme un service, dans le Cloud ^[10].

Le Saint Graal d’Ubercloud
Les conteneurs logiciels
Début 2013, après 50 expériences dans le Cloud et une analyse en profondeur des 22 expériences pour lesquelles nous sommes tombés sur des obstacles qui les ont fait échouer. Nous pensons avoir trouvé la solution : des conteneurs applicatifs sous Linux. Le timing était parfait : au lieu de partir de zéro, nous nous sommes tournés vers docker en Mars 2013 et assisté à l’un de leurs premiers ateliers de développement à San Francisco. Depuis, nous développons de plus en plus de fonctionnalités HPC avec Docker avec qui nous avons créé deux ans après notre premier conteneur d’application pour l’ingénierie et les applications scientifiques.

Qu’est-ce que Docker?
Docker est une plate-forme ouverte pour la création, le transport et l’exécution d’applications distribuées. Il offre aux programmeurs, aux développeurs et aux ingénieurs une boîte à outils commune pour profiter de la nature distribuée et en réseau des applications modernes.

Les conteneurs UberCloud sont des ensembles applicatifs exécutables prêts à l’emploi conçus pour fournir les outils dont l’ingénieur a besoin pour mener ses tâches à bien. L’applicatif ou les logiciels Open Source sont pré-installés, configurés, testé et exécutés sans perte de performances. Ils sont prêt à exécuter instantanément sans besoin d’installer de logiciel additionnel ni de saisir des lignes de command complexes. La technologie de conteneurs confère une grande liberté de choix car ils sont portables de serveur à serveur et de Cloud à Cloud. Cela libère également les fournisseurs de services Cloud et les services informatiques car ils n’ont plus besoin d’installer, de paramétrer et de maintenir le logiciel sous-jacent. Ils peuvent compter sur les conteneurs UberCloud pour éliminer cette complexité. Cette technologie procure également un autre avantage, celui de faire abstraction du matériel sur lequel elle s’exécute. Cette abstraction entre le matériel et les logiciels procure une simplicité d’utilisation et une agilité qui fait défaut eux environnements traditionnels.

Les défis du Cloud
Le HPC dans le Cloud comporte des défis à relever. Car il s’agit d’un nouveau paradigme. Les considérations autour de la sécurité, de la vie privée, et la confiance dans le service des fournisseurs peuvent être un problème. Les licences logicielles traditionnelles incluent progressivement un volet de paiement à l’usage ou adoptent un modèle locatif. Sans oublier que la bande passante nécessaire pour pouvoir exécuter des applicatifs lourds devient critique. En outre, les coût sindexés sur l’utilisation des ressources dont la charge n’est pas toujours conue à l’avance peut faire exploser les coûts. Enfin, l’accès aux ressources dans le Cloud en self service n’est pas toujours suffisamment simple et intuitif.

Nous nous proposons donc de fournir quelques postes pour réduire ou même éliminer la plupart des freins énoncés.

Les défis du cloud