Pour Yann LeCun, scientifique en chef de l’IA pour Meta, l’apprentissage profond (deep learning), une des techniques de l’intelligence artificielle, a conduit à une sorte de renaissance dans le domaine de la R & D de la tech.
« Le type de techniques sur lesquelles nous avons travaillé a eu un impact commercial beaucoup plus important, beaucoup plus vaste » que lors des périodes précédentes du développement de l’intelligence artificielle (IA), indiquait Yann LeCun lors d’une petite réunion ce mois-ci.
« Et le résultat, c’est que beaucoup de fonds de recherche ont été attirés et qu’un renouvellement de la recherche industrielle a eu lieu. »
Pourquoi les géants de la tech font de la R & D fondamentale ?
Il y a encore 20 ans, rappelait le scientifique, Microsoft Research était la seule entité industrielle qui « avait une certaine stature dans les technologies de l’information ». Mais ensuite, les années 2010 ont vu « Google Research arriver, et FAIR [Facebook AI Research], que j’ai créé, et quelques autres laboratoires ont fondamentalement relancé l’idée que l’industrie pouvait faire de la recherche fondamentale ».
Cette résurgence de la R & D en entreprise se produit, estime Yann LeCun, « parce que la perspective de ce qui peut arriver dans le futur, et de ce qui arrive dans le présent, grâce à ces technologies, est grande ».
Selon le scientifique, la valeur de l’IA appliquée conduit à un système à deux voies. Dans un cas, la R & D en entreprise maintient des projets à long terme, des projets de type « moonshot ». Une autre voie canalise la recherche vers des applications produit plus pratiques.
« Il est tout à fait logique pour une entreprise comme Meta d’avoir simultanément un grand laboratoire de recherche qui a des objectifs ambitieux de long terme, comme la création d’assistants virtuels dotés d’une intelligence de niveau humain, parce que c’est ce que nous voulons, en fin de compte. Mais en même temps, la technologie qui a été développée est déjà utile. »
L’exemple de l’ABS et des voitures autonomes
« Par exemple, la modération de contenu et la détection de la parole dans plusieurs langues ont été complètement révolutionnées au cours des deux ou trois dernières années par de grands Transformers pré-entraînés de manière autosupervisée », relate Yann LeCun, faisant référence au programme de traitement du langage naturel Transformer de Google, introduit en 2017, qui est devenu la base de nombreux programmes – notamment ChatGPT, d’OpenAI.
Ce programme « a fait d’énormes progrès, des progrès incroyables », précise-t-il. Des progrès qui sont dus « aux dernières recherches en matière d’IA ».
Le scientifique était invité à participer à une conférence d’une heure et demie organisée par the Collective[i] Forecast, une série de discussions interactives en ligne organisée par Collective[i]. Cette dernière se présente comme « une plateforme d’IA conçue pour optimiser les ventes B to B ».
Il s’est dit « optimiste » quant à la capacité de l’IA appliquée à être utilisée pour le bien de la société. Même lorsque l’IA ne parvient pas à atteindre certains objectifs, elle produit des effets qui peuvent être bénéfiques, défend-il.
En guise d’exemple, il cite les systèmes de véhicules autonomes qui, à défaut d’être véritablement autonomes, ont eu pour effet de fournir des dispositifs de sécurité routière qui ont sauvé des vies. « Chaque voiture qui sort en Europe doit désormais être équipée d’un système de freinage d’urgence automatique, l’ABS ». Et pour lui, l’utilisation de l’ABS est comparable aux « systèmes qui permettent à la voiture de se conduire toute seule sur l’autoroute ». Le mécanisme de freinage réduit les collisions de 40 %. « Donc, malgré ce que l’on peut entendre sur une Tesla qui a foncé dans un camion ou autre, ces systèmes sauvent des vies. Au point qu’ils deviennent obligatoires ».
La grande affaire de l’utilisation de l’IA dans la science
« Ce que je trouve assez prometteur, c’est l’utilisation de l’IA dans la science et la médecine » pour améliorer des vies, assure le responsable de Meta. « Un grand nombre de systèmes expérimentaux améliorent la fiabilité du diagnostic à partir d’IRM et de rayons X pour un certain nombre de maladies », indique-t-il. « Cela va avoir un impact énorme sur la santé. »
Ces avancées, bien que positives, sont minimes, ajoute-t-il, comparées à « la grande affaire » – à savoir « la manière dont l’IA sera utilisée pour la science ».
« Nous disposons de systèmes capables de plier les protéines. Nous avons maintenant des systèmes capables de concevoir des protéines pour qu’elles adhèrent à un endroit particulier. Ce qui signifie que nous pouvons concevoir des médicaments complètement différemment de ce que nous avons fait dans le passé. »
L’IA au secours du développement des batteries ?
L’IA a également « un énorme potentiel de progrès dans le domaine de la science des matériaux », estime le scientifique. « Et nous allons en avoir besoin, parce que nous devons résoudre les problèmes liés au changement climatique. Notamment, nous devons être en mesure d’avoir des batteries à haute capacité qui ne coûtent pas une fortune, et qui ne vous obligent pas à utiliser des matériaux exotiques trouvables à un seul endroit. »
A ce sujet, Yann LeCun a cité Open Catalyst, fondé par ses collègues du FAIR, qui collabore avec l’université Carnegie Mellon pour appliquer l’IA au développement de « nouveaux catalyseurs à utiliser dans le stockage des énergies renouvelables afin de contribuer à la lutte contre le changement climatique ».
« L’idée est de couvrir un petit désert de panneaux photovoltaïques et de stocker l’énergie utilisée par ces panneaux, par exemple sous forme d’hydrogène ou de méthane », explique-t-il. Les approches actuelles pour stocker les produits à base d’hydrogène ou de méthane sont « soit évolutives, soit efficaces, mais pas les deux », selon lui. « Nous pourrions peut-être découvrir à l’aide de l’IA un nouveau catalyseur qui rendrait ce processus plus efficace ou évolutif en ne nécessitant pas un nouveau matériau exotique. Cela ne fonctionnera peut-être pas, mais cela vaut la peine d’essayer. »
Malgré ces nombreuses applications commerciales prometteuses, le scientifique suggère que l’étroitesse des utilisations industrielles n’est pas à la hauteur de l’objectif plus large de l’IA, à savoir la quête d’une intelligence de niveau animal ou humain.
Les limites de la mise à l’échelle de l’IA
Les énormes progrès de la recherche qui sous-tendent les applications d’aujourd’hui ont été rendus possibles à l’ère de l’apprentissage profond par une disponibilité sans précédent des données et de la puissance de calcul, rappelle le scientifique, alors que les progrès scientifiques fondamentaux n’ont pas toujours été aussi abondants ou aussi riches.
« Ce qui a provoqué la vague plus récente, c’est d’abord quelques avancées conceptuelles, mais surtout la quantité de données disponibles et la quantité de calcul qui ont rendu possible la mise à l’échelle de ces systèmes. »
Les grands modèles de langage (LLM) comme GPT-3, le programme informatique sur lequel ChatGPT est basé, sont la preuve que la mise à l’échelle de l’IA, c’est-à-dire l’ajout de plus de couches de paramètres réglables, améliore directement les performances des programmes. « Il s’avère qu’ils fonctionnent très bien lorsque vous les mettez à l’échelle », précise-t-il à propos de GPT-3 et de ses semblables.
Mais selon Yann LeCun, l’industrie risque de voir ses rendements diminuer à un moment donné si elle se contente de mettre à l’échelle sans explorer d’autres voies : « Beaucoup d’entreprises comme OpenAI, en particulier, ont utilisé cela comme un mantra. Il suffirait de faire les choses plus grandes, et cela fonctionnerait. Mais je pense que nous atteignons ces limites en ce moment. »
Malgré la mise à l’échelle de modèles toujours plus grands, « nous ne semblons pas être en mesure de former un système de conduite autonome complet en formant simplement des réseaux neuronaux plus grands sur davantage de données ; cela ne semble pas nous permettre d’y arriver ».
Aussi impressionnants soient-ils, des programmes tels que ChatGPT, que Yann LeCun a qualifié de « pas particulièrement innovant » et en « rien révolutionnaire », ne possèdent pas de capacité de planification.
Et les limites de la réactivité versus la planification
« Ils sont complètement réactifs », souligne Yann LeCun. « Vous leur donnez un contexte de quelques milliers de mots », c’est-à-dire l’invite tapée par l’humain, « et ensuite, à partir de cela, le système génère simplement le mouvement suivant de manière complètement réactive ». « Il n’y a pas de planification ou de décomposition d’une tâche complexe en tâches plus simples, c’est juste réactif. »
Il propose l’exemple du programme OpenAI CoPilot, qui a été intégré par Microsoft dans la plateforme de gestion de code GitHub. « Il y a une limitation très forte de ces systèmes », explique-t-il. « Ils sont surtout utilisés comme un clavier prédictif gavé aux stéroïdes. »
« Vous commencez à écrire votre programme, vous faites une description de ce qu’il doit faire dans les commentaires, et vous avez des outils basés sur de grands modèles de langage qui vont compléter le programme », ajoute-t-il.
La grande recherche des gains de productivité grâce à l’IA
Une telle autocomplétion est semblable au régulateur de vitesse dans les voitures. « Vos mains doivent rester sur le volant à tout moment », car Co-Pilot peut générer des erreurs dans le code sans que vous en ayez conscience.
« La question est de savoir comment passer de systèmes qui génèrent un code qui parfois fonctionne, et parfois ne fonctionne pas », fait-il valoir. « Et la réponse à cette question est que tous ces systèmes aujourd’hui ne sont pas capables de planifier ; ils sont complètement réactifs. » Et ce n’est pas ce qu’il faut pour générer « un comportement intelligent. »
Au contraire, pour avoir « un comportement intelligent, il faut un système capable d’anticiper l’effet de ses propres actions ». Il faut aussi avoir « une sorte de modèle interne du monde, un modèle mental de la façon dont le monde va changer à la suite de ses propres actions ».
L’été dernier, le scientifique a rédigé un document de réflexion sur la nécessité de disposer de programmes dotés d’une capacité de planification, un sujet dont il discutait longuement avec ZDNET en novembre.
Pour l’instant, la résurgence de la recherche et du développement des technologies de l’information dans les entreprises n’a pas encore conduit au résultat le plus précieux de la technologie, la productivité, estime-t-il, mais cela pourrait arriver au cours de la prochaine décennie.
Citant les travaux du chercheur Erik Brynjolfsson du groupe Human-Centered Artificial Intelligence de l’université de Stanford, il fait remarquer que les économistes considèrent l’IA comme une « technologie à usage général », c’est-à-dire quelque chose qui « se diffusera lentement dans tous les secteurs de l’économie et de l’industrie et affectera fondamentalement l’ensemble de l’activité économique » par divers effets – la création de nouveaux emplois, le déplacement d’autres emplois, etc. – et entraînera une augmentation de la productivité, parce qu’elle favorise l’innovation. En d’autres termes, l’innovation qui s’appuie sur l’innovation est l’équivalent économique de la productivité.
« Ce qu’Eric, en particulier, a dit, c’est qu’au moins jusqu’à très récemment, nous n’avons pas observé d’augmentation de la productivité due à l’IA et, historiquement, il dit qu’il faut environ 15, 20 ans pour voir un effet mesurable sur la productivité d’une révolution technologique. »
« Donc, selon sa prédiction, cela va probablement se produire au cours des 10 prochaines années. »
Selon lui, la résurgence de la R & D fondamentale en entreprise dans le domaine des technologies de l’information pourrait avoir une certaine pérennité, étant donné son attrait pour les jeunes chercheurs.
« Nous avons observé que les jeunes talents aspirent maintenant à devenir des chercheurs en IA, parce que c’est cool. Alors qu’auparavant, les mêmes personnes seraient allées dans la finance », souligne le scientifique. « Il est préférable pour eux de se diriger vers la science, je pense. »
Source : ZDNet.com