L’annonce de la nouvelle puce phare des smartphones haut de gamme de l’année prochaine par Qualcomm est l’occasion de faire un point sur les progrès qui nous attendent. Si chaque génération de processeur mobile (System on a Chip dans le jargon, ou SoC) apporte son lot de nouveautés technologiques, celle de 2023 s’annonce comme un excellent cru.
Un des éléments classique d’amélioration globale des performances est la diminution de la finesse de gravure. Or, cette année, ce ne sera pas le cas : Apple, MediaTek et Qualcomm sont tous obligés de rester en 4 nm, la gravure de masse en 3 nm n’étant prévue qu’à partir de la seconde partie de 2023. Aussi, pour marquer la différence par rapport aux puces de cette année, les industriels ont été contraints d’aller chercher ailleurs les progrès. Tout à la fois dans le redesign de chacun des blocs qui composent les SoC, mais aussi en jouant encore plus sur leur entraide. Avec une pièce phare qui est à la source de nombreuses améliorations technologiques des autres blocs : le processeur neuronal ou NPU.
Ray-tracing : la 3D sublimée
Vous avez aimé les effets de lumières de votre Geforce RTX ? Réjouissez-vous : ces effets dits de « lancer de rayons » ou ray tracing (RT) en anglais, arrivent sur vos smartphones… Au moins sur les puces de Qualcomm et MediaTek, Apple n’ayant pour l’heure rien communiqué à ce sujet.
Le principe fondamental du ray-tracing est de calculer des trajectoires de milliers, voire millions de rayons lumineux et de modéliser leurs trajectoires et interactions. Plusieurs méthodes existent, s’appliquant aux ombres, aux effets de transparences, etc. Avec un bénéfice majeur : le rendu de ces effets est incroyablement naturel, et facilite le travail des développeurs qui n’ont plus besoin de programmer des scripts (réflexions dans les miroirs, changement de température de couleurs). Tous les effets étant calculés en temps réel.
A lire aussi : Qualcomm vient de dévoiler le processeur phare des smartphones haut de gamme de 2023 (nov. 2023)
Si l’intégration de ces effets était déjà formidable dans des cartes graphiques affichant jusqu’à 350 Watts à la prise, on est dans le domaine du petit miracle de les voir arriver dans des puces qui dégagent à peine 5 W ! Derrière cette intégration, il y a non seulement l’amélioration de l’architecture des puces graphiques (GPU), mais aussi des algorithmes de plus en plus pertinents – débruitage, supersampling, etc. Et surtout le travail du NPU, dont les performances en hausse permettent de simplifier et d’accélérer le travail du GPU.
A lire aussi : Qualcomm dévoile Oryon, le coeur de son arme anti-M1, d’Apple (nov. 2023)
Nvidia fut le pionnier de la technologie de ray tracing en temps réel, avec un AMD qui commence à monter en puissance dans le monde du PC. L’arrivée du ray tracing dans les puces mobiles très haut de gamme de Qualcomm et Mediatek devrait accélérer son adoption par les studios de jeux vidéo. Car le marché potentiel des appareils pouvant profiter de ces effets va rapidement exploser.
Segmentation sémantique : révolution du traitement d’image
La photographie numérique a trois piliers : le capteur, le bloc optique et le traitement d’image. Cette dernière composante repose sur le duo que forment le processeur d’image et le trairement logiciel (en fait, une horde d’algorithmes), qui composent le « pipeline » du traitement d’image. Un traitement d’image qui revient à traiter, à la vitesse de la lumière, les millions voire milliards de pixels que les capteurs peuvent avaler chaque seconde.
La grande avancée qui nous attend s’appelle la segmentation sémantique et s’appuie sur un nouveau pilier qui est le processeur d’IA appelé souvent NPU (Neural Processing Unit). En construisant un lien direct entre le processeur d’image (ISP) et le NPU, la future puce Snapdragon 8 Gen 2, de Qualcomm, peut devenir un véritable « cerveau visuel ». Elle va, sur chaque cliché, découper l’image, un peu comme le fait le cerveau humain. C’est-à-dire faire la différence entre une plante, un humain, un chat, les cheveux, la peau, les frondaisons, etc. Un zonage et un étiquetage en temps réal qui a plusieurs bénéfices potentiels, mais surtout un argument majeur : il devrait permettre d’améliorer encore la qualité d’image.
Comment ? Simplement en permettant une plus grande finesse d’application des filtres d’amélioration de l’image. Les capteurs d’image de smartphones et les optiques étant très petits au regard des « vrais » appareils photo, le traitement logiciel est capital dans l’amélioration de la qualité d’image. Seulement voilà, appliquer uniformément les corrections à toute l’image n’est jamais très satisfaisant. Le processeur d’image « cognitif » Spectra de Qualcomm pourra délimiter jusqu’à huit zones appelées « segments » qui sont, comme on a l’a vu, caractérisés (visage, cheveux, chat, etc.).
Et sur chaque zone, le duo ISP & NPU peuvent jouer sur quatre paramètres (tons, saturation, netteté, réduction du bruit) afin de trouver la meilleure correction logicielle possible. Pour rendre des images encore plus naturelles et débarrassées des défauts classiques que l’on retrouve sur les photos numériques (peaux trop/pas assez lissées, manque de précision d’image dans l’herbe, ciels bleus trop/pas assez saturés, etc.).
Vidéo 8K60p HDR : une vraie caméra de cinéma ?
Les prochaines générations de capteurs de Samsung et Sony, couplées au prochain ISP notamment de Qualcomm, offrent la possibilité d’aller encore plus loin en 8K. Après la 8K30p, puis la version 60p, voici arriver la seconde génération de 8K60p HDR, grâce à la capacité du couple capteur + processeur de gérer non pas une mais quatre images par trame soit 240 images de 33 Mpix par seconde. Composer une image à partir de quatre prises de vue ultrarapides permet d’étendre la plage dynamique (plus d’informations dans les hautes et les basses lumières), cette dernière étant historiquement le talon d’Achille physique des petits capteurs.
Il va sans dire que pour en profiter, il faudra des écrans – notamment des téléviseurs – compatibles non seulement avec la vitesse de 60 images par seconde, mais aussi qui soient certifiés HDR. Notez que si l’intérêt de la 8K en tant que telle est toujours très limité à cause du peu d’appareils installés, elle offre aussi l’avantage du suréchantillonnage pour les pros de la vidéo. En effet, tourner en 8K permet de produire, après montage et post-traitement, des séquences 4K de bien meilleure qualité que du « simple » 4K natif.
Modem 5G infusé d’IA : une connexion plus stable et moins énergivore
Si le rôle des processeurs neuronaux est connu dans l’amélioration de la qualité d’image – simulation d’arrière-plans flous, etc. – il est plus nouveau et moins connu dans le monde des modems. Pourtant, son impact, quoique plus difficile à mesurer de prime abord, pourrait être important.
Ce qu’il faut bien saisir, c’est que la 5G est une technologie à la fois bien plus riche, complexe et adaptative que la 4G. Selon le déplacement du smartphone dans l’espace réseau (dans une rue, par exemple), le modem 5G va s’adapter aux différentes antennes qui l’entourent en en privilégiant certaines, et certaines des fréquences. Le tout en communiquant avec les stations de base qui, elles aussi, vont s’adapter en temps réel. En conséquence, un modem 5G, qui est plus performant et plus polyvalent qu’un modem 4G, est logiquement plus énergivore. Notamment en cas d’utilisation d’ondes millimétriques.
C’est là que les algo dits « IA » et les processeurs neuronaux, externes ou intégrés dans le modem, vont jouer un rôle de plus en plus important. Plutôt que de s’adapter par rapport à des scénarios fixes, le modem va pouvoir utiliser de complexes modèles d’entraînement pour s’adapter à son environnement. Ceci, en utilisant le NPU qui s’avère bien plus efficace énergétiquement que toutes les autres puces à qui il peut faire appel. En conséquence, les concepteurs de puces promettent des économies substantielles d’énergie. De quoi gagner de précieux pourcents de batterie à la fin de la journée. Sans avoir rogné sur la qualité de connexion.
WiFi 7 : toujours plus vite, toujours moins d’énergie
Toujours en matière de connexion, le smartphone devance le PC en matière de réseau sans-fil avec l’arrivée du Wi-Fi 7… avant même que la norme ne soit totalement validée ! Pour l’heure exclusive au Snapdragon 8 Gen 2, de Qualcomm, cette nouvelle norme – dont l’essentiel des éléments sont désormais figés – devrait être entérinée dans le courant de 2023.
A lire aussi : Qualcomm va-t-il enfin initier la révolution des lunettes AR grâce à ces trois puces ? (nov. 2023)
Outre la traditionnelle amélioration des débits, allant ici jusqu’à 5,8 Gbit/s en utilisant la bande des 6 GHz (4,3 Gbit/s sans cette bande), le Wi-Fi 7 promet aussi des latences abaissées. Et, encore une fois, une baisse de la consommation énergétique, nerf de la guerre des appareils mobiles. En matière de latence, Qualcomm promet d’aller en dessous de 2 ms – et ce, de manière constante, pas uniquement en pointe. Si le gaming peut venir à l’esprit dès lors qu’on parle de latence, il s’agit aussi ici de réduire le temps de communication, notamment dans le cas des usages AR/VR/XR. Tout délai avec ces lunettes causant potentiellement un inconfort à l’utilisateur (cinétose).
Finalement, au travers d’une utilisation plus adaptée des débits, fréquences, antennes, normes, etc. le Wi-Fi 7 promet une économie d’énergie (de la consommation réseau, pas de la plate-forme totale !) allant de 30% et jusqu’à 50%. Des gains très significatifs qui devraient, comme pour ceux obtenus en 5G, permettre d’étendre là encore la durée de vie de la batterie de votre terminal. Potentiellement au-delà d’un ou deux jours… selon les batteries intégrées et les usages des utilisateurs.
Si la course à la puissance pure des CPU et GPU continue, cette nouvelle génération de puce cherche aussi et surtout à améliorer les usages. Qu’il s’agisse de graphisme, de traitement d’image, de réseau ou autre, tout est bon pour repousser les limites. Avec en filigrane la recherche constante d’économies d’énergie. Et la pièce maîtresse de ces améliorations reste le NPU, une puce logique finalement bien plus mystérieuse que les CPU et GPU, tant les constructeurs sont avares de détails. Pour mieux préserver leurs secrets ?