Pendant des années la fréquence du CPU fut le seul indicateur des performances d’une machine. Ce temps est désormais révolu, la complexité des machines actuelles obligeant à revoir fondamentalement cette approche. Et par conséquent à changer d’outil de mesure.

Dans le monde hyper connecté que est le nôtre aujourd’hui, un navigateur Web et une connexion Internet suffisent aux acheteurs de produits High Tech pour obtenir une réponse à la quasi-totalité de leurs questions. Nous pouvons tous effectuer quelques recherches en amont de notre achat avant de signer un chèque ou de tendre notre carte de crédit. Sur le marché de l’informatique personnelle, le benchmarking des performances a constitué, pendant des années, un aspect capital pour évaluer les capacités des ordinateurs. Mais que nous apprennent véritablement ces benchmarks et quels sont ceux auxquels nous pouvons accorder notre confiance ?

Le meilleur benchmark, c’est vous

L’histoire montre que les méthodes d’évaluation des ordinateurs n’ont cessé d’évoluer au fil du temps. Ainsi, pendant plusieurs dizaines d’années, les ordinateurs ont été principalement vendus en fonction de la fréquence d’horloge de leur processeur. Avec l’augmentation des fréquences et l’introduction de nouvelles architectures, le lien entre la fréquence d’horloge et les performances observées par l’utilisateur est néanmoins devenu de plus en plus fragile. En outre, la hausse de la consommation d’énergie et la baisse des performances liées à la vitesse d’horloge ont définitivement anéanti le rôle de cette dernière comme mesure de la performance. Le nombre de cœurs du processeur est devenu le nouvel argument de vente des ordinateurs aux utilisateurs lambda.

Des benchmarks, pour quoi faire ?

Les benchmarks ont été développés afin de déterminer dans quelle mesure la fréquence ou le nombre de cœurs pouvaient avoir une incidence réelle sur la performance d’un ordinateur, et fournir ainsi des conseils objectifs d’acteurs extérieurs à l’écosystème du matériel informatique en tant que tel. Des éditeurs de logiciels ont alors manœuvré pour devenir la référence absolue du benchmarking face à leurs concurrents. Le modèle a commencé à présenter des failles, les entreprises de matériel informatique se sont engagées dans une lutte en faveur de l’optimisation des performances afin d’obtenir les meilleurs scores ; la fréquence a de ce fait perdu en crédibilité au moment de mesurer les performances d’un ordinateur.

Si l’architecture des processeurs a évolué, certaines suites de benchmarking n’ont pas suivi le mouvement. Ces dernières n’en demeurent pas moins un outil que les décisionnaires utilisent pour évaluer les performances d’un ordinateur. Pour aider les utilisateurs de PC, il convient de tirer parti des ressources informatiques jusqu’ici sous-exploitées qu’of-frent les processeurs graphiques (GPU) et leurs capacités de calcul. Certains processeurs actuels, tels que les APU (Accelerated Processing Unit), disposent à la fois d’un processeur traditionnel (CPU, Central Processing Unit) et de moteurs de traitement GPU, ainsi que d’équipements audio et vidéo spécialisés, qui travaillent ensemble pour assurer une expérience utilisateur optimale et pour traiter efficacement les charges de travail actuelles, en garantissant une performance exceptionnelle et une consommation d’énergie minimale.

Bienvenue dans l’ère moderne

Aujourd’hui, les utilisateurs souhaitent profiter d’une expérience visuelle optimale et utiliser l’ordinateur comme jamais auparavant. Créer, intégrer et partager des données audio et vidéo de haute qualité, et engager une interaction avec la machine par l’intermédiaire du toucher, de la voix et du geste. Il semble que l’intérêt porte désormais moins sur ce qui se passe derrière l’écran que sur la capacité du système à proposer une expérience exceptionnelle au bureau ou à la maison. Les systèmes peuvent désormais inclure des APU multi-cœurs de 64 bits… Ces APU avancés associent les technologies de CPU et de GPU les plus récentes avec les conceptions optimisées d’une architecture de système hétérogène qui attribue le travail du logiciel au moteur de traitement le mieux adapté à la tâche à réaliser. Si l’informatique a atteint certains niveaux grâce aux avancées réalisées dans le secteur des microprocesseurs traditionnels, avec des vitesses d’horloge supérieures imposant une consommation d’énergie plus grande et enregistrant généralement des taux de performance plus faible, la conception hétégogène (comme par exemple HSA d’AMD) constitue une approche améliorée permettant de proposer à l’utilisateur l’expérience qu’il souhaite aujourd’hui et qu’il espère pour demain.

Vers un nouveau paradigme de mesure des performances

Étant donné le profond changement opéré par les usages et les attentes des utilisateurs, vous pourriez imaginer que les benchmarks ont évolué afin de tenir compte de la technologie ainsi que des besoins et des attentes des utilisateurs. Or, la triste réalité montre que, pour nombre de benchmarks, ce n’est pas le cas. En ne mesurant qu’une seule tâche ou qu’un seul type de traitement, par exemple la performance d’un CPU simple cœur, ils n’offrent qu’un aperçu limité de la performance d’un système, qui ne traduit que difficilement l’évaluation de l’expérience d’utilisation du système, dont se soucie l’utilisateur.

Est-il valable, dès lors, de fonder des décisions d’achat sur des benchmarks qui ne mesurent qu’un seul aspect d’un processeur ou qui se concentrent plus particulièrement sur une application unique rarement utilisée ? Lors de l’achat d’une voiture, les chevaux sont-ils la seule donnée à prendre en compte dans le descriptif affiché sur la vitrine du concessionnaire ? Finalement, vous êtes le meilleur juge de ce qui est bon pour vous. Dans un monde idéal, c’est l’évaluation pratique de l’ordinateur qui permettrait de déterminer si ce dernier répondra ou non à vos besoins.

Pour une mesure complète des performances des machines

Dans le monde en ligne qui est le nôtre, l’évaluation pratique d’un PC n’est pas toujours une solution réaliste. Le benchmarking conserve de ce fait un rôle capital. Il existe actuellement trois benchmarks qui offrent, selon nous, une image exhaustive des architectures informatiques modernes, en se fondant sur les tâches habituellement réalisées aujourd’hui par les particuliers et les professionnels. Deux de ces benchmarks sont produits par Futuremark, une entreprise européenne ouverte à l’ensemble du secteur informatique. Sa dernière suite de benchmarking PCMark 8 v2 a été développée en tant qu’outil de benchmarking complet de PC pour la maison et l’entreprise en collaboration avec plusieurs grands noms du secteur, parmi lesquels Dell, HP, Lenovo, Microsoft et différents fabricants de semi-conducteurs. Pour obtenir une vision élargie des performances d’un système, une suite de benchmarks modernes peut être utilisée, tels que 3DMark de Futuremark pour les graphiques et la performance de calcul du GPU, ou encore Basemark CL de Rightware pour la capacité de calcul totale du système.

La création de benchmarks de haute qualité, reflétant réellement les charges de travail actuelles et fournissant une image précise des besoins des utilisateurs, doit viser l’ensemble du secteur. C’est un point de vue que partagent les experts de ce dernier, notamment Martin Veitch d’IDG Connect : « Nous avons besoin d’experts ouverts et équitables, capables de mesurer les bons éléments. Dans le cas contraire, nous serons tous contraints, en tant qu’individus et qu’entreprises, de gaspiller des sommes considérables. Cette règle s’applique au secteur privé, mais aussi aux États et au secteur public, où des documents d’appel d’offres peuvent souvent orienter les choix et exclure certains fournisseurs. Dans ce contexte, de plus en plus de groupes nationaux et régionaux intègrent Futuremark dans leurs documents d’appel d’offres. Même s’ils peuvent prêter à controverses et qu’ils ne durent jamais bien longtemps, une chose est sûre : les benchmarks sont décisifs. Et à l’instar de n’importe quel jeu où la mise est importante, vous avez besoin d’un homme de confiance pour compter les points. »

Lorsque les industriels ne travaillent pas ensemble, les benchmarks ne reflètent pas les tâches réelles et peuvent être orientés vers un fournisseur de matériel plutôt que vers un autre. Une telle situation s’est produite dans le passé : si un constructeur de matériel peut en tirer parti, le vrai perdant est le consommateur qui dispose de chiffres de performances trompeurs et est susceptible de payer pour un avantage de performance qu’il ne percevra jamais.

Au final, c’est le consommateur qui gagne lorsque les industriels travaillent ensemble. La décision récente de la Commission européenne de choisir PCMark et d’en faire une partie importante des procédures de marchés publics des États constitue un atout non seulement pour Futuremark mais aussi pour ceux qui souhaitent mesurer précisément les performances d’un système. Les utilisateurs peuvent être assurés que la réputation de PCMark est celle d’un benchmark précis, représentatif et objectif qui défend l’examen le plus rigoureux.