Vous avez peut-être entendu parler récemment du projet Human Brain (HBP), une campagne de recherche européenne en neurosciences lancée il y a maintenant 10 ans. La simulation interactive par ordinateur de modèles imitant le cerveau est un pilier de ces recherches.

Cray vient d’être sélectionné (via un achat public avant commercialisation ou PCP) pour la troisième et dernière phase d’un programme de R&D visant à produire un système pilote qui servira au développement et au test des techniques d’analyses et de simulation informatique. Cray mobilisera dans cette entreprise son Laboratoire de Recherche EMEA (Cray EMEA Research Lab) dernièrement inauguré. Cet article expose les technologies développées et testées dans ce cadre, des technologies dont nous espérons beaucoup pour les utilisateurs de Cray.

La première étape est de gérer le système informatique de la même manière que d’autres grands équipements déjà dédiés à la recherche.

Àl’heure actuelle, les utilisateurs réservent des créneaux horaires pour utiliser le système plutôt que de soumettre et accumuler les travaux en attente : un agenda est disponible pour les réservations.

Une alternative sur laquelle Cray travaille est de pouvoir suspendre les travaux en cours, les gardant en mémoire physique ou les gardant en suspens dans un espace dédié Cray® DataWarpTM. Certains sites Cray utilisent déjà ces techniques pour gérer les cycles de production les plus récurrents. En travaillant encore un peu plus cette idée, nous pouvons ouvrir le champ des possibles et permettre une utilisation toujours plus interactive des supercalculateurs Cray.

Les capacités de mémoire sont généralement une limite dans les simulations du cerveau. Les chercheurs s’attendent à devoir traiter dans les prochaines années des volumes de données de l’ordre de plusieurs dizaines de pétabits, ce qui dépasse déjà les capacités des supercalculateurs les plus puissants du monde. Leurs besoins vont rapidement augmenter pour atteindre des centaines de pétabits pour mener des simulations réalistes du cerveau : il deviendra impossible de stocker toutes ces données en mémoire en même temps.

Une solution doit permettre de sélectionner les données les plus intéressantes avant analyse et visualisation, et stocker une fraction des résultats les plus pertinents. Chaque simulation doit pouvoir faire le tri entre les données qui présentent un intérêt pour des analyses plus poussées, et les autres.

La deuxième étape est de garantir aux développeurs la possibilité de coupler leurs softwares d’analyse, de simulation et de visualisation en un seul processus de travail. Nous sommes tous habitués à ce que les logiciels de simulation donnent leurs résultats de manière périodique ou à la toute fin des simulations. Dans un processus de travail couplé, la simulation et l’analyse peuvent fonctionner simultanément.

L’analyse peut fonctionner en direct avec les résultats de la simulation et alimenter la plateforme de virtualisation : les logiciels doivent être interconnectés par un protocole de transfert de données rapide et par des méthodes efficaces de synchronisation. Le système pilote possèdera un ensemble de cœurs GPU dédiés à cette tâche.

Bien des processus impliquant des supercalculateurs passent par le système de fichiers, particulièrement lorsque de grands volumes de données doivent être transférées entre diverses applications du processus. Ces transferts peuvent être accélérés en équipant le système de fichiers d’une part de stockage à large bande passante, facile d’accès et ouvert au partage. Ce stockage n’est utilisé que pour les données intermédiaires, les résultats finaux étant stockés directement au sein du système.

Cray a développé un technologie de stockage flash innovante, DataWarp, qui permet deux types d’usage : privé et partagé. Le stockage privé offre une large bande passante locale entre les logiciels de simulation et d’analyse, alors que son équivalent partagé comporte une partie flash qui établit le lien entre les logiciels de simulation et de visualisation tournant sur d’autres cœurs GPU. Ces deux logiques font partie intégrante du système pilote du HBP.

Le troisième et dernier élément auquel Cray contribue pour HBP est un moyen d’influer sur les simulations alors même qu’elles fonctionnent. Il s’agit plus d’une manière de penser que d’une technologie spécifique, mise en place par la construction du réseau qui fera office de cerveau. Ses réglages sont conservés en mémoire pendant que les chercheurs mènent leurs expériences virtuelles, de manière à ce que les données collectées en direct puissent servir aux simulations qui s’enchaînent. Les données sont en effet retransmises en direct au simulateur par câble ou au travers du système de fichier.

En plus d’une nouvelle solution, le système pilote du projet HBP expérimentera de nouvelles technologies en matière de processeurs et de mémoire. Consultez le blog de Cray pour vivre en continu les avancées sur ce projet.

Si vous êtes intéressé par la simulation virtuelle du cerveau, lisez le dernier article dans Cell par Henry Markram et al. : « Reconstruction and Simulation of Neocortical Microcircuitry ».

À propos de Duncan Roweth
Duncan Roweth est Ingénieur en Chef Senior à la division CTO de Cray Inc. (« Cray »). Ses billets ne reflètent que ses opinions et n’engagent pas Cray et ses dirigants dans leurs propres opinions, positions et stratégies. Les références à des tierces parties, ainsi que les liens vers leurs sites web, ne sont présents à titre d’illustration. Sauf mention explicite, Cray n’est pas responsable du contenu accessible par ces liens, qui n’impliquent aucune approbation des tierces parties envers Cray ou ses produits.