Afin de pouvoir élaborer des modèles d'IA de plus en plus puissants et prendre en charge l’entraînement des nouvelles solutions d'IA génératives telles que ChatGPT ou Bing Chat, les besoins en matière d'infrastructure de cloud computing sont assez indéniablement devenus sans précédent. Ce travail d'ampleur et de longue haleine - boosté notamment par le partenariat entre Microsoft et OpenAI depuis 2019 - a donné naissance il y a trois jours à une nouvelle génération de machine virtuelle puissante et évolutive chez Microsoft Azure : la ND H100 v5 !
Chaque machine physique est une merveille de technologie constituée de 8 H100 de chez NVIDIA (sans doute dans leur variante SXM5) interconnectée via NVSwitch et NVLink 4.0 avec une bande passante bidirectionnelle de 3,6 To/s, l'interconnect Quantum-2 CX7 de NVIDIA disposant d'une bande passante de 400 Gb/s, deux Intel Xeon Sapphire Rapids de dernière génération (oui, oui, ils existent, mais modèle exact non spécifié), un interconnect PCIe 5.0 hôte à GPU offrant 64 Go/s par GPU et pour finir 16 canaux rempli de DDR5 4800 MHz ! En sus, chaque machine locale est accompagnée de son propre réseau de milliers de H100 supplémentaires connectées grâce au Quantum-2 CX7 Infiniband, qui permet d'après Microsoft d'offrir une bande passante à la demande pouvant aller jusqu'à 3,2 Tb/s par machine virtuelle. Il n'a pas été précisé si Microsoft Azure utilise ses propres racks ou le DGX SuperPOD de NVIDIA.
Selon Nidhi Chappell de chez Microsoft Azure, la vraie clé de cette nouvelle avancée était avant tout d'apprendre à construire, à exploiter et à maintenir des dizaines de milliers de GPU ainsi interconnectés via un réseau haut débit à faible latence, ce qui n'avait apparemment jamais été tenté ni même testé auparavant, et il n'était donc pas certain que le matériel en question en était même capable. C'est bien beau d'avoir le plus gros et le plus fort du hardware, mais il va de soi que beaucoup d'optimisations furent également nécessaires au niveau du système afin de permettre une utilisation optimale et efficace de l'imposante machinerie à disposition pour les tâches auxquelles elle est dédiée, particulièrement l’entraînement de grands modèles de langage.
Vu les dernières avancées - ChatGPT, GPT-4... - et les ambitions générales dans le domaine, ces nouvelles supermachines ne seront pas de trop et il semble évident que les entreprises impliquées - quelles soient vendeuses ou clientes - continueront à y engouffrer de nombreux moyens pour continuer à les faire évoluer. Au passage, les nouveautés de Microsoft Azure sont assurément un beau jackpot pour NVIDIA (et Intel dans une moindre mesure), ce qui manquera pas de conforter l'entreprise dans ses choix stratégiques, si tant est qu'elle en eût encore vraiment besoin, ce dont on doute fort. Pour l'anecdote et ceux que cela intéresse, n'oublions pas que se tient très prochainement la GTC 2023 de NVIDIA, sous-titrée cette année « la conférence pour l'ère de l'IA et du métavers ». (Source : NVIDIA, Microsoft, Hot Hardware)
Si sur le papier la nouvelle est intéressante, je reste un peu sur la fin de la part de Microsoft.
Ici on a une super structure 100 % accel de chez NVIDIA, qui reste un peu du généraliste dans l'accélération des IA, et donc un gouffre monstrueux en énergie. Quand on s'appelle GroSoft, on pourrait au moins se permettre de faire comme d'autres géants, de faire un vrai projet de design d'ASIC un poil plus optimisés, ou alors de se tourner vers Intel ou AMD pour demander une partie du parc en FPGA, histoire de faire plaisir à Nicolas.
Bref, les vieilles habitudes ont la vie dure, pour être franc, l'annonce (à titre personnel) ne fait pas tant rêver que ça, on est presque de retour en 2018 avec les annonces d'AWS, avec un hardware plus à jour certes, mais totalement dans la même philosophie : prendre du matos connu plutôt que d'optimiser.
J'imagine que pour le moment ils ne veulent pas encore trop de mouiller à faire leur propre matos (ou alors c'est en cours et ce n'est pas encore prêt). Quand je vois Tesla qui a déjà passé cette étape je t'avoue que c'est un peu décevant de la part de MS, je m'attends aussi à ce qu'ils mettent plus de moyen là-dedans.
Il n'est pas impossible non plus que les (bonnes ?) relations (commerciales) entre Microsoft et Intel/NVIDIA découragent aussi un peu ce genre d'initiatives (faire leur propre matos) dans l'immédiat, en attendant peut-être qu'Intel Foundry Services monte en puissance 🤑
Je n'osais pas le dire, mais il y a des chances oui 😁