Au Computex, nombreuses étaient les firmes à montrer leur solution accélérée par IA. Reconnaissance vocale intégrée, aide à la visée, génération de mind maps en fonction de mot-clef… chacun y va à sa sauce, mais dans un contenu technique relativement pauvre : il s’agit dans l’écrasante majorité des cas d’une intégration d’un modèle existant dans un contexte plus ou moins novateur et (plus ou moins toujours…) adapté. Dans ce contexte, la proposition de GIGABYTE est étonnante : pouvoir entraîner soi-même son propre réseau, directement sur son bureau ou sa station de travail ! Une occasion — évidemment — pour vendre sa solution : AI Top, qui n’est étrangement pas issu des équipes serveur de GIGABYTE, mais rentre de fait en concurrence avec elles. Ou plutôt, en complémentarité, puisqu’un serveur se place généralement dans un rack et dans une salle climatisée dédiée (et bruyante !) ; là où AI Top se vante d’une alimentation via une seule prise unique, le tout pour goinfrer une configuration musclée intégrant dans sa version ultime un CPU Threadripper ou un Intel sur socket W790 et quatre NVIDIA RTX 4070 Ti ou AMD Radeon Pro W7900. Ainsi, toute une gamme AI top est disponible chez GIGABYTE, allant des mobales aux GPU en passant par quelques SSD !
La configuration Threadripper et Radeon Pro W7900
Mais dans la pratique, akoiçasser, ces machines ? Hé bien, à entraîner un réseau : nous vous en causions dans notre dossier explicatif sur l’IA, il est possible de réentraîner un réseau en utilisant le transfert learning, c’est-à-dire la capacité des neurones déjà entraînés à pouvoir être réutilisés dans un contexte légèrement différent. Ainsi, seules certaines couches du réseau sont modifiées lors de ce « fine-tuning », ce qui permet de limiter le temps passé au réentrainement et, contrairement au RAG (Retrieval-Augmented Generation, une technologie scannant un ensemble de données pour guider l’IA), ne nécessite pas de fournir un contexte au réseau préalablement à son utilisation. Bref, dans la théorie, le réseau obtenu est légèrement plus optimisé, mais nécessite un entraînement manuel sur mesure et une quantité de données bien plus grande.
La version Intel et RTX 4070 Ti
Cet entrainement, justement, est effectué via un logiciel spécialement développé à cet effet par la firme, uniquement compatible Linux (fait rarissime, mais ô combien logique vu l’usage) et verrouillé pour ne fonctionner que sur les cartes GIGABYTE, histoire de garder l’exclusivité de la proposition :
La partie logicielle de AI Top, et ses multiples réglages.
Tournant sur un back-end PyTorch, l'UI permet très simplement de ré-entrainer son réseau au moyen de plusieurs présets englobants des configurations génériques pour un sacré tas de paramètres customisable (si vous êtes un expert) et d'un backbone - le gros réseau amené à être fine-tuné. Une interface permet de suivre en temps réel les caractéristiques de votre machine (charge CPU / GPU / RAM et mesure de la convergence du réseau au fur et à mesure de l’entraînement).
Reste la question épineuse de la clientèle. Car rares seront les étudiants à pouvoir s’offrir une machine à un tel coût — de 6 499 $ à 35 999 $ hors taxes — et la plupart des clients professionnels se tourneront ou se sont déjà tourné sur le format rack autrement plus puissant et maintenable, dès lors qu’un service informatique compétent est présent (et qu’aucun besoin spécifique d’entraînement local ne soit présent. Reste les entreprises désireuses de se mettre à l’IA sans capacité de monter une équipe et des serveurs dédiés : pourquoi pas, encore faut-il que le support logiciel soit au top… et que l’entreprise ait à sa disposition un certain nombre de données pour procéder à ce fine-tuning, ce qui est loin d’être anodin. Affaire à suivre !
Par ici pour la gamme complète, par GIGABYTE !
Bon aller, pour où on commence tellement à voir ça, j'ai envie de pleurer. Nan parce que je peux comprendre que "l'IA" ça donne envie à des fabricants, mais là c'est se foutre du monde en prenant les clients pour des pigeons.
Alors pour démarrer, parlons config et prix. 6500 $ la config de base, avec 2 pauvres 4070 Ti (svp, ces cartes sont faites pour les joueurs, il y a les Quadro pour ça), des composants AI Top à base de blowers (oui oui, même pas un GPU un peu travaillé) et du RGB, même avec un Threadripper c'est non. Et le pire c'est dès que les tarifs grimpent : au même prix, on peut obtenir une vraie lame avec un Epyc ou un gros Xeon dessus, avec un accélérateur de base voire 2. Je comprends qu'avoir une planche de 40 kg et qui vous donne un bruit de climatiseur h24 c'est chiant, mais promis on peut l'enfermer dans un petit bureau avec une ventilation, ça fonctionne et c'est rentable au moins, avec tout le support matériel et logiciel nécessaire.
Autre point, du format standard pour 4 GPU + un CPU qui pompe autant, du RGB parce que je suis certains de gagner 3 % de vitesse en mettant les LED en rouge, des arguments marketing qui prennent les pros pour des neuneus... J'ai du mal à comprendre si la cible de GIGABYTE c'est vraiment des professionnels de l'informatique ici. Entre utiliser des PC portable gamer (oui, ça se fait) parce que c'est rentable et efficace, et ça, qui est... Bref, on dirait une grosse bourde dans les bureaux du marketing ou des gens qui n'ont jamais vu à quoi ressemble du matos pour faire du Machine Learning.
Et enfin, le logiciel : j'ai du mal à voir comment cette entreprise, réputée de partout pour ne pas savoir faire un outil de gestion de LED sur une carte mère, peut pondre un système révolutionnaire de fine tuning pour des modèles immenses et complexes. D'autant plus qu'avec des sources fermées (là ou le ML se distingue par une dose assez conséquente d'open source, tout du moins pour le logiciel) et une exclusivité (non justifiée techniquement) avec leur propre matos, ça ne fait pas rêver sur la qualité réelle à s'attendre.
Désolé si mon avis parait assez tranché, mais là c'est de l'abus : il y en a déjà marre de voir un morceau de la science informatique ridiculisée par les attraits financiers des entreprises, donc ça serait bien que certains arrêtent de prendre les informaticiens pour des imbéciles. Si GIGABYTE voulait vraiment aider les professionnels, alors des configs simples mais efficaces (refroidissement, alimentation) avec une compatibilité assurée sur Linux (si on parle d'entrainement) est largement suffisante.