À propos de l’auteur
Jeffrey Katcher est Business Development Manager, en charge des Solutions et Stratégies pour Cray Inc.

Un vieux dicton nous rappelle que si tout le monde parle bien du temps qu’il fait, personne ne peut pourtant rien y faire. Bien que Cray ne puisse pas (encore) prédire les sécheresses et canicules, nous pouvons déjà faciliter le travail des professionnels de la météo.

Les données se multiplient, le stockage doit s’adapter
Les centres de modélisation climatique et de météorologie travaillent en permanence à l’amélioration de leurs modèles en assemblant des données toujours plus variées, et en augmentant la résolution et la complexité des modèles eux-mêmes. En conséquence, ces modèles impliquent et produisent des volumes de données toujours plus importants.

Ces centres doivent donc relever le défi de la gestion d’un incroyable volume de données. Ils multiplient les essais, et font face à la difficulté de trouver les ressources, notamment financières, pour stocker et accéder à leurs données sur le long terme. Les centres de modélisation climatique peuvent en accumuler des dizaines, voire des centaines de pétabits*, ce volume croissant de plus de 40% chaque année.

Un tel niveau de croissance fait du stockage des données un enjeu critique pour la météorologie au niveau mondial, les centres devant maintenir leur capacité à réaliser les bonnes prévisions.

Les chercheurs doivent pouvoir archiver ces grands volumes de données et y accéder facilement, afin d’aller toujours plus loin dans le raffinement de leurs modèles. Ils ont besoin d’une solution d’archivage économique et pensée en fonction de leur propre utilisation. Les solutions traditionnelles le sont rarement : les logiciels propriétaires gênent les transferts de données, ne sont pas extensibles et leur intégration dans les processus de travail nécessite un lourd support technique. Un seul de ces facteurs peut empêcher une prévision météorologique ou bloquer les processus de recherche sur le climat.

L’association flexible entre stockage flash et sur bandes
Historiquement, les centres météorologiques ont utilisé des technologies de stockage très diverses, jusqu’à l’élaboration artisanale de processus de transfert de données, alors peu fonctionnels et peu productifs. Le tout, faute d’alternatives.

Si l’on conçoit le stockage en ligne et celui à fins d’archivage comme un ensemble unifié, il est possible de concevoir une solution intelligente évitant toute complexité inutile à l’utilisateur. Cette solution est constituée d’un système de stockage hiérarchique (HSM), qui associe en un seul ensemble stockage flash et stockage sur bandes. Les utilisateurs ont alors accès à tous leurs données en permanence, mais seules les données en cours d’utilisation sont stockées en flash, une méthode offrant plus d’accessibilité mais plus onéreuse. Les données qui ne sont pas utilisées sont quant à elles automatiquement stockées sur bandes, une méthode de stockage à long terme plus économique, jusqu’à que l’utilisateur en ait de nouveau besoin.

Les logiciels propriétaires ont souvent tendance à bloquer les données sous des formats qui leur sont propres, rendant leur utilisation quasi-impossible une fois le système devenu obsolète. À l’inverse, les logiciels ouverts, tel le Tiered Adaptive Storage développé par Cray (TAS – Stockage Adaptatif Hiérarchisé), stockent les données sous des formats par avance conçus pour être réutilisables.

Même si le sens commun prétend que le stockage sur bande est « mort », les librairies de sauvegarde demeurent la solution de stockage la plus économique par térabit et consomment dix fois moins d’énergie que le stockage flash. Cette solution mixte contribue à limiter les besoins en des centres de stockages toujours plus énergivores.

Le stockage des données sur bandes n’est bien sûr pas une solution à lui seul. Afin d’être efficace, il doit être fondu dans l’ensemble de la solution. En recourant au système ouvert conçu pour TAS, tous les fichiers, archivés ou en cours d’utilisation, sont accessibles à l’utilisateur via une seule interface. La magie s’opère en coulisses.

TAS a aussi été renforcée par la technologie de stockage à haute performance Lustre, garantissant la fluidité des mouvements de données entre les stockages flash et sur bandes, exonérant l’administrateur système de toute intervention manuelle. Les centres de modélisation climatique et de météorologie peuvent ainsi mener plus de recherches, raffiner leurs modèles et fluidifier la gestion de leurs données en ayant recours à un système de stockage ouvert comme TAS by Cray.

(*) Un pétabit équivaut à un million de gigabits