« Excusez-moi, mais sur les photos que vous avez prises dans mon bureau, est-ce qu’il serait possible de flouter le tableau ? », nous demande gentiment le chercheur venu nous chercher avant notre départ. L’homme fait partie de l’équipe du Nice Research Center ou NRC, le centre de R&D de Huawei sis à Mougins, à côté de Sophia-Antipolis. Le tableau auquel il fait mention, vous le voyez ci-dessous, flouté à sa demande. Qu’y avait-il vraiment marqué dessus ? Nous n’en avons honnêtement aucune idée, à part qu’il s’agissait de lettres, de chiffres, de flèches, de carrés, etc.
Bref, des hiéroglyphes de scientifiques. Car nous ne nous sommes pas trompés en utilisant le mot « chercheur ». Ici, au bord de la méditerranée, le groupe chinois et numéro deux mondial des investissements en R&D juste derrière Alphabet (Google) a installé depuis 2014 son centre de développement et de recherche pour les processeurs d’image (ISP) de ses smartphones. L’une des pièces maîtresses de son succès dans le domaine de la photographie.
Oui, depuis toutes ces années où nous avons vu Huawei grimper pour finir par dominer la photo sur smartphone, nous sommes passés à côté d’une information clé : le cerveau de traitement d’image de Huawei est une merveille Made in France.
L’aventure commence avec le P9
© Adrian BRANCO / 01net.com
L’aventure est née de rencontres, et d’un (petit) drame : « J’étais architecte de l’ISP de la puce OMAP de Texas Instrument qui avait ses locaux à Villeneuve-Loubet », nous explique lors de notre accueil Stephen Busch, le directeur du NRC. « Et puis TI a décidé de fermer le centre en 2012 et j’ai été contacté par un contact d’un directeur d’un centre de recherche en Israël qui m’a demandé de constituer une équipe ». Un jeu de connexions et de recommandations dans un milieu professionnel assez petit, où la réputation de la qualité des travaux compte plus que tout.
Le choix du lieu était tout vu pour cet Allemand de 46 ans installé en France depuis 1994 : « J’étais déjà dans la région avec Texas Instrument et il y a beaucoup de talents dans le coin. Alors même si Huawei avait des doutes au début sur l’installation en France, ils m’ont donné ma chance en 2013 ». Au départ, il recrute neuf personnes. Une équipe qui a des objectifs à moyen et long terme.
Pour le moyen terme, il s’agit de développer un ISP complet pour un terminal qui sera lancé en 2016. A long terme, il s’agit pour le siège de Huawei de devenir « le roi des caméras en partant de rien ». L’ISP est développé en deux ans, auquel il faut rajouter un an d’intégration dans le SoC. La suite, vous la connaissez : cet ISP sera intégré dans le premier terminal réalisé en partenariat avec Leica, le P9. Qui sera le premier terminal de l’histoire à utiliser un capteur noir et blanc secondaire pour améliorer la qualité d’image du capteur principal.
Ce succès permet à Steven de trouver la confiance du siège qui le laisse étoffer son équipe pour atteindre 30 personnes aujourd’hui. Et compter à son actif plusieurs générations d’ISP et des succès comme le P30 Pro (2019), le P40 Pro+ (2020) et le Mate 40 Pro (2021). Des terminaux qui se sont tous classés premiers de nos Top 10 des meilleurs smartphone photo à l’époque, mettant au passage un terme à la domination de Samsung et Apple dans le domaine. Une progression fulgurante qui repose sur les améliorations de l’ISP, des capteurs et des optiques, d’une part, mais aussi grâce à la montée en puissance des différentes unités de calcul du SoC, d’autre part. Des éléments sur lesquels l’ISP peut s’appuyer pour travailler.
Montée en puissance des SoC… et de l’IA
Le travail des chercheurs n’est pas linéaire. Il leur faut parfois garder sous le coude du travail pendant des années avant de pouvoir l’utiliser. Qu’il s’agisse d’améliorer la partition logicielle/matérielle de l’ISP ou attendre de l’aide extérieure. Deux éléments ont été déterminants pour l’amélioration de la qualité d’image : la puissance sans cesse croissante des différents éléments de la puce – CPU, GPU mais surtout NPU – d’une part, la réduction de la taille des circuits qui leur permit de complexifier l’ISP d’autre part.
« Nous ne travaillons pas en silo, mais en coopération avec les autres équipes qui développent les autres éléments de la puce (NDLR : CPU, GPU, NPU notamment). Et nous devons faire les choix de ce qu’on traite dans l’ISP, de ce qui sera traité à l’extérieur avec les différents échanges d’information et accès mémoire ». L’explosion des travaux autour de l’IA et des processeurs neuronaux (Neural Processing Unit, NPU) a permis à tous les acteurs de l’industrie de profiter d’un partenaire idéal pour les ISP.
Si les progrès ont été énormes la dernière décennie, désormais les progrès sont de plus en plus durs à atteindre, et la bataille est de plus en plus serrée. « Les gains de qualité d’image ne sont plus aussi spectaculaires que par le passé. Nous en sommes désormais à travailler au maximum sur l’efficacité énergétique des algorithmes », explique Stephen Busch. « Un des principaux axes d’amélioration est le développement des algorithmes issus de l’entraînement des IA. Mais à cause du budget thermique de nos puces, qui ne peut dépasser 4 W, nous devons trouver des équilibres entre les algorithmes IA super performants, mais gourmands en puissance, et des algorithmes plus efficaces ».
Continuer d’améliorer la qualité d’image de nos « petits » capteurs de smartphones est un travail de très haut niveau, qui requiert un grand nombre de (très bons) cerveaux.
Financer la recherche pour dénicher les talents et se projeter dans le futur
Le NRC a une responsabilité à moyen et long terme. « Au début de notre activité, nous étions en mode production. Nous devions rapidement développer nos propres ISP. Si nous continuons évidemment ce travail, nous sommes désormais plus en mode recherche. Nous voyons désormais à cinq ans, car au niveau où l’industrie est arrivée, les algorithmes et technologies mettent du temps à maturer ».
Profitant de ces nombreux centres de recherche dans le monde, Huawei finance de nombreux projets pour défricher le futur. « Comme tous les acteurs industriels, nous finançons des post-docs, des bourses CIFRE, des projets de laboratoires, etc. pour travailler sur des sujets de recherche appliquée ou fondamentale », poursuit le M. Busch. « Et comme dans l’industrie, nous laissons nos chercheurs publier tout ou partie de leurs travaux ».
Certains éléments sont évidemment maintenus secrets ou bien sont transformés en brevets, mais une part importante de la recherche de Huawei se retrouve lâchée dans le domaine universitaire public.
« C’est le jeu des liens entre les entreprises et la culture universitaire. Certes, nous nous dévoilons un peu, mais nous participons ainsi à l’écosystème dans lequel nous trouvons des talents, d’autres sujets de recherche. Et cela nous rend attractifs : les étudiants, jeunes chercheurs ou chercheurs chevronnés ont besoin de publier pour avancer dans leur carrière ».
Huawei, comme la majorité des acteurs industriels, a de toute façon besoin de ce fonctionnement : « Le traitement d’image dont nous avons besoin n’est pas enseigné à l’école et la filière semi-conducteurs n’était pas à la mode ces dernières années. Si cela commence à changer, le secteur des semi-conducteurs va connaître quelques difficultés de recrutement ces prochaines années », prédit-il.
Le travail de recherche plus ou moins fondamentale de Huawei lui permet d’anticiper. « Dans notre domaine, nous essayons d’avoir une vision à cinq ans sur les ISP », se félicite M. Busch. Dans d’autres domaines, Huawei va même encore plus loin. Son centre Lagrange* de recherche en mathématiques fondamentales ouvert en octobre 2020 à Paris en est la preuve. Présidé par Pierre-Louis Lions, Professeur au Collège de France et médaille Fields en 1994, ce centre renforce le poids de la France dans le domaine des mathématiques avec une équipe de 30 mathématiciens « dont 10 de renommée internationale », dixit le communiqué de l’entreprise. Et ce, sans aucune promesse de trouver des applications directes aux travaux des chercheurs.
* : Lagrange Mathematics and Computing Research Center
Rouage d’une chaîne internationale de l’image
La conception logique du hardware de l’ISP est un produit de l’équipe française. Mais l’intégration dans le SoC, la construction des plans à partir du diagramme RTL, les routines de traitement du bruit numérique, les algorithmes de post-traitement, etc. sont des sujets traités ailleurs. Qu’ils soient à Londres, Tampere, Munich, Pékin, Shenzhen, Shanghai ou Hangzhou, « Huawei a ouvert des centres de recherche là où sont les talents », explique M. Busch.
« L’université de Tampere en Finlande est ainsi très connue pour ses recherches dans le travail sur le traitement du bruit numérique par exemple ». Et on ne parle ici que de l’ISP, le travail sur l’image demande encore plus de ressources : nous avons ainsi pu rencontrer Sei Kyojiro, directeur du Huawei Tokyo Research Center. Lui et ses équipes sont des membres de l’unité japonaise qui ont développé les modules caméra des P20 Pro et P30 Pro !
Le NRC de Huawei est une unité française appartenant à une entreprise chinoise dirigée par un Allemand. Il pilote lui-même une équipe de 30 personnes originaire de 14 pays différents. Si le centre français est à la source de « l’intelligence photographique », il n’est qu’un des nombreux rouages nécessaires au développement de la partie photo/vidéo d’un acteur du monde des smartphones. Si vous ajoutez à cela les chercheurs hors Huawei qui travaillent sur les capteurs (Sony, Samsung, OnSemi), sur les optiques (Sunny Optical, etc.), les actuateurs, la stabilisation, les algorithmes, les ingénieurs logiciels, etc., vous mesurerez la complexité de la chaîne technologique. Quand vous prenez une belle photo de nuit, c’est grâce au travail de milliers de chercheurs et ingénieurs !
Un futur français qui ne semble pas menacé
Huawei a fait face au « feu » de Donald Trump. L’ancien président américain avait privé l’entreprise de l’accès au territoire américain et l’avait évincé des usines de TSMC et Samsung. Mais il avait aussi et surtout retiré l’agrément des services de Google, un coup dur qui a obligé le Chinois à développer son propre système d’exploitation mobile sur la base open-source d’Android, Harmony OS. Mais aussi bon soit-il, l’absence des services Google et du Play Store le rend difficilement utilisable pour le public occidental. Interrogés sur ces sujets de fab et de logiciel, les différents interlocuteurs de Huawei à qui nous avons parlé se sont (logiquement) refusés à faire des commentaires.
Du côté de l’ISP et des caméras, c’est pour l’heure « business as usual » : les plans de développement n’ont pas bougé, les feuilles de route sont en place et Huawei peut continuer à lancer des smartphones. Huawei avait en effet fait le plein de puces 5nm pour le marché asiatique. Et pour l’export, le gouvernement Biden laisse désormais l’entreprise acheter des puces à Qualcomm. Ce qui sauve l’entreprise, c’est évidemment la taille de son marché intérieur : quand bien même elle est passée de n°1 à n°6 en Chine, le 1,4 milliard d’habitants de l’Empire du milieu lui donne la possibilité de continuer de développer des produits.
Quant au retour de Huawei dans le business, outre des rumeurs de discussion autour de la récupération de la licence Google, cela pourrait aussi bouger du côté des fonderies. Une donne capitale pour que l’entreprise continue d’implémenter ses propres ISP. Les récents progrès majeurs du fondeur SMIC laissent des analystes penser que TSMC ou Samsung pourrait bientôt rouvrir leurs lignes de production. Plutôt rouvrir leurs usines et gagner de l’argent plutôt que de laisser filer les milliards dans une fonderie chinoise.
Si ces deux étoiles s’alignent, une chose est sûre : Huawei n’a rien relâché de ses efforts de développement, et sera prêt à briller à nouveau en photo. Grâce, à son processeur d’image Made in France.
Note à propos des photos : pour respecter le caractère confidentiel de certains éléments de recherche, de nomenclature interne ou tout élément lié à un secret industriel, nous avons flouté tableaux et écrans sur les photos à la demande de Huawei.