NVIDIA a changé les règles du jeu pour l'acception des modules de mémoire HBM. Ce type de mémoire est, rappelons-le, devenu le nerf de la guerre dans le domaine de l'IA et du HPC, et équipe tous les accélérateurs les plus populaires du marché. Il s'agit également d'une mémoire assez onéreuse. Au cœur de beaucoup d'attention, la HBM a assez rapidement évolué ces dernières années, au point de parfois être poussée à l'extrême. Ceci aurait obligé plusieurs fois NVIDIA de corriger le tir, par exemple en limitant la fréquence finale ou en évitant d'adresser la totalité de la mémoire. Et avec les nouvelles puces de 12 et 16 couches, le potentiel d'erreur est d'autant plus important.
Or, il s'avère que, jusqu'à présent, le bon fonctionnement de la mémoire HBM n'était jamais spécifiquement testé par son fabricant avant d'être envoyée au fondeur (généralement, TSMC). Ce n'est qu'une fois installée sur les substrats avec le GPU que la bonne opération allait être vérifiée, et si par malheur un défaut était trouvé, c'était tout simplement l'ensemble qui pouvait être jeté ! Surprenant et pourtant... Certes, l'installation de puces non testée est une procédure assez normale dans cette industrie. En pratique, les erreurs sont rares et ajouter des tests augmenteraient inévitablement les délais et les couts. Néanmoins, pour des produits très onéreux et sujets à une très forte demande, tels que les H100 et GB200 de NVIDIA, chaque point de rendement est plus précieux que jamais. Jeter l'ensemble à cause d'une petite puce HBM même partiellement défectueuse réduit naturellement le rendement et pousse par conséquent aussi les prix vers le haut.
Bref, pour pallier ces pertes, NVIDIA exige maintenant de ses fournisseurs de mémoire HBM de procéder à des tests complets avant de les expédier aux fonderies. Ce qui implique que Samsung, SK hynix et Micron vont devoir s'équiper en conséquence (si ce n'est déjà fait). Les outils pour le faire existent évidemment déjà, ce sont les "HBM Package Sorter". L'un des principaux fournisseurs de ce type de système est le coréen Genesem, une entreprise ayant d'ailleurs déjà bien profité du boom de la HBM, notamment grâce à sa proximité avec SK hynix, son client principal. Compte tenu du succès de la HBM et de la nouvelle exigence de NVIDIA (et AMD ?), c'est un marché qui devrait donc encore bien grandir ! (Source : The Elec, Computerbase)
Ce n'est bien sûr pas à l'oeil que ça va se faire !
C'est peut-être courant, mais difficilement compréhensible quand une NVIDIA H100 Carte graphique PCIe HBM2e 80 Go, par exemple, est vendu environ 30 000 $US...