Le groupe Meta, maison mère de Facebook, a développé sa propre puce pour accélérer l’affichage en temps réel de ses futurs avatars dans ses casques VR. Meta a en effet développé une technologie appelée Pixel Codec Avatar (PiCA), qui améliore significativement le naturel des visages artificiels en VR, tant du point de la vue de la précision d’image que de l’animation.
La première version de ce système fonctionnait sur une très puissante carte graphique (Nvidia Titan X), un GPU trop énergivore pour être intégré dans un casque VR. Pour prendre en charge PiCA dans un casque de réalité virtuelle, les ingénieurs de l’entreprise ont donc développé une puce spécifique. Il s’agit d’un processeur intégrant un CPU à jeu d’instruction RISC-V, un peu de mémoire et surtout un accélérateur de réseau neuronal qui se charge de prendre en charge les calculs de ce codec en temps réel. Gravée en 7 nm, cette puce de seulement 2,56 mm² se concentre sur sa tâche (calculer le champ de vue dans l’espace en prenant en compte le suivi des yeux et générer les données PiCA), le calcul 3D et l’affichage étant bien pris en charge par le GPU du SoC du Quest 2, plate-forme qui a servi à son développement initial.
Si la puce a été développée pour PiCA, son développement a impliqué, en retour, de repenser complètement cette technologie pour tirer pleinement parti de cette puce custom. Il est probable que le codec aurait pu être en pris en charge par la partie IA d’une puce, comme l’Hexagon d’un Snapdragon… Mais le fait d’avoir développé cette symbiose codec/puce permet à Meta de faire drastiquement baisser la consommation énergétique et, dans la foulée, l’empreinte thermique de sa technologie.
On note au passage que Meta a profité de ce développement d’une puce relativement simple (petit processeur 32 bit, seulement 2 Mo de SRAM) pour mettre les mains dans le cambouis dans le jeu d’instruction RISC-V. Au détriment évident d’ARM.
Source : Road to VR