La firme américaine Cerebras s’est fait une spécialité du développement du concept de puce sur wafer. Plutôt que de découper une à une les puces produites sur les galettes de silicium, elle les laisse assemblées et y avoir des interconnexions, constituant une processeur géant composé de milliers de coeurs.
Cette technologie a en principe de gros avantages en termes d’infrastructures et d’encombrement et elle est particulièrement intéressante pour supporter les charges de travail des intelligences artificielles.
La nouvelle solution annoncée par Cerebras est la puce sur wafer WSE-3 (Wafer Scale Engine), un gros carré dorré compant quelques 900 000 coeurs optimisés IA et gravés en 5 nm, soit 4000 milliards de transistors réunis au sein d’un même système.
Puce sur Wafer Cerebras WSE-3
Chez Nvidia, l’accélérateur IA (GPU) Nvidia H100 que toutes les entreprises de l’IA s’arrachent comprend 80 milliards de transistors mais profite d’une gravure en 4 nm.
Une puce géante avec près d’un million de coeurs pour l’IA
C’est une grosse différence par rapport au WSE-2 qui embarque 850 000 coeurs mais gravés en 7 nm avec un total de 2600 milliards de transistors. Cerebras évoque un doublement de performance pour la même consommation d’énergie et pour le même prix avec la nouvelle puce WSE-3.
Elle est associée à 44 Go de mémoire SRAM sur puce et peut développer une capacité de traitement de 125 petaflops en pic. Elle est taillée pour gérer des modèles d’IA allant jusqu’à 24 000 milliards de paramètres et pourra être intégrée dans un système CS-3 (Cerebras System, qui comprend la puce sur wafer, la mémoire externe et les puces de communication) qui, avec une capacité mémoire de 1,2 petaoctets, sera en capacité d’entraîner des modèles de langage 10 fois plus puissants que GPT-4 (OpenAI) et Gemini (Google).
Avec cette capacité de traitement, Cerebras affirme qu’un cluster de 2048 systèmes CS-3 est capable de fournir une puissance de calcul IA de 256 exaflops et peut entraîner un grand modèle Llama2-B70 en moins d’une journée…contre environ un mois avec un cluster de GPU classique tel qu’utilisé par Meta.
Au coeur du supercalculateur IA CG-3
Malgré ses caractéristiques uniques, la puce sur wafer WSE-3 et le système CS-3 ne sont pas plus compliqués à utiliser que les systèmes habituels d’entraînement d’IA et demandent même moins de lignes de code par rapport à une configuration avec des GPU.
Parallèlement, Cerebras poursuit son initiative menée avec l’entreprise G42 pour créer un ensemble de six supercalculateurs IA avancés et interconnectés Condor Galaxy qui fourniront à terme une puissance de calcul combinée de 36 exaflops en FP16.
Les puces sur wafer WSE-3 alimenteront le supercalculateur CG-3 (Condor Galaxy-3) en cours de construction et qui doit accueillir 64 systèmes CS-3 pour fournir à lui seul 8 exaflops de puissance de traitement IA. Avec les deux autres systèmes CG-1 et CG-2 déjà en place, c’est un total de 16 exaflops qui sera disponible pour entraîner de grands modèles d’IA.