Cela fait plusieurs années que l’entreprise Cerebras développe des systèmes dits de puces sur wafer qui permettent de créer des assemblages de centaines de milliers de coeurs travaillant de concert.
Sa solution Wafer Scale Engine 2 , ou WSE-2, annoncée en 2020 embarque ainsi 850 000 coeurs gravés en 7 nm sur un carré de 21 cm de côté, doublant la mise par rapport à la première génération, avec 40 Go de mémoire vive intégrée et une bande passante de 20 petabits, pour une consommation de 15 kW.
Forte de cette technologie, Cerebras annonce maintenant le supercalculateur Andromeda qui réunit en cluster 16 systèmes WSE-2 fonctionnant en parallèle pour donner un monstre de 13,6 millions de coeurs optimisés pour l’intelligence artificielle.
Supercalculateur exaflop en IA
Le dispositif doit permettre d’atteindre une puissance de traitement de 1 exaflop en traitement IA ou de 120 petaflops en demi-précision 16-bit. chaque puce offre une bande passante interne de 12,1 To/s et les données sont fournies par un réseau 100 GbE (Gigabit Ethernet) à partir de 124 serveurs comprenant un total de 248 processeurs AMD Epyc Milan de 64 coeurs, soit 18 176 coeurs en tout.
Cela le rend parfaitement équipé pour entraîner des modèles de langage de type GPT-3 et ses dérivés qu’il serait très difficile de traiter à partir d’accélérateurs graphiques du fait des contraintes en terme de bande passante et de mémoire disponible.
Un nouveau géant pour l’IA
Le supercalculateur Cerebras Andromeda peut aussi bien être utilisé par un seul utilisateur exploitant toute sa puissance ou bien par 16 utilisateurs exploitant chacun l’une des 16 tranches CS-2, ou bien encore par une combinaison intermédiaire, lui assurant ainsi une grande flexibilité d’usage.
Le système consomme 500 kW d’énergie, bien moins que ce que demanderait un dispositif équivalent composé d’accélérateurs GPU, et utilise une interconnexion propriétaire SwarmX.
Andromeda est déployé dans le datacenter haute performance de Colovore, à Santa Clara (Californie) et est accessibles aux chercheurs et aux entreprises privées.