Ces derniers temps, on a beaucoup parlé de l’énorme promesse du programme ChatGPT, d’OpenAI, pour générer des énoncés en langage naturel dans des styles et sur des thématiques variés.
ChatGPT fascine à tel point les foules que beaucoup pensent que ce programme est unique en son genre. Pourtant, les spécialistes de l’IA ne sont pas tout à fait d’accord.
« En termes de techniques sous-jacentes, ChatGPT n’est pas particulièrement innovant », a déclaré Yann LeCun, responsable scientifique de l’IA chez Meta, lors d’une petite réunion de la presse et des dirigeants sur Zoom la semaine dernière. « Il n’y a rien de révolutionnaire, même si c’est la façon dont il est perçu par le public », a déclaré le pionnier du deep learning.
« C’est juste que, vous savez, c’est bien ficelé, c’est joliment fait. »
OpenAI n’est pas un cas isolé
De tels systèmes d’IA axés sur les données ont été construits dans le passé par de nombreuses entreprises et laboratoires de recherche, a souligné Yann LeCun. L’idée qu’OpenAI soit seul dans ce type de travail est donc inexacte, selon le chercheur.
« OpenAI n’est pas du tout une avancée par rapport aux autres laboratoires », a indiqué ce dernier. « Il n’y a pas que Google et Meta, mais il y a une demi-douzaine de start-up qui ont fondamentalement une technologie très similaire à celle-ci », a-t-il ajouté. « Je ne veux pas dire que ce n’est pas de la science infuse, mais c’est rarement partagé, il n’y a pas de secret derrière, si vous voulez. »
Selon Yann LeCun, ChatGPT et le programme sur lequel il repose, GPT-3, est composé de multiples éléments de technologie développés au cours de nombreuses années par de nombreuses parties. « Il faut savoir que ChatGPT utilise des architectures Transformer qui sont pré-formées de manière auto-supervisée », a observé Yann LeCun. « L’apprentissage auto-supervisé est quelque chose que je préconise depuis longtemps, même avant l’existence d’OpenAI », a-t-il ajouté.
« Transformers est une invention de Google », a noté Yann LeCun, en référence au réseau neuronal linguistique dévoilé par Google en 2017, qui est devenu la base d’une vaste gamme de programmes linguistiques, dont GPT-3.
Des décennies de recherche
En outre, Yann LeCun fait remarquer que les travaux sur de tels programmes de langage remontent à des décennies.
« Les grands modèles de langage, le premier modèle de langage à réseau neuronal – à l’époque, il était grand, par rapport aux normes d’aujourd’hui, il est minuscule – a été réalisé par Yoshua Bengio, il y a environ 20 ans », a déclaré le chercheur, en référence au chef de l’institut MILA pour l’IA du Canada. Les travaux de Yoshua Bengio sur le concept d’attention ont ensuite été repris par Google pour le Transformer et sont devenus un élément central de tous les modèles de langage.
Le programme d’OpenAI a également fait un usage intensif d’une technique appelée apprentissage par renforcement grâce à la rétroaction humaine, qui permet à des agents humains d’aider à classer les résultats de la machine afin de les améliorer, un peu comme le Page Rank de Google pour le Web. Cette approche a été mise au point non pas par OpenAI, mais par l’unité DeepMind de Google, a-t-il précisé.
Le programme ChatGPT est moins une percée scientifique qu’un exemple d’ingénierie décente, selon Yann LeCun. Pour illustrer ses propos, il a comparé le programme à l’ordinateur Watson d’IBM qui a participé en 2011 au jeu télévisé Jeopardy ! et au véhicule à conduite autonome de l’entrepreneur Sebastian Thrun qui a remporté le Grand Challenge 2005 de la DARPA, l’agence de recherche et développement de la Défense aux Etats-Unis. La technologie primée de Sebastian Thrun « n’était pas particulièrement innovante en termes de science sous-jacente », a déclaré Yann LeCun, « elle était simplement très bien conçue ».
« C’est un peu ce qu’a fait OpenAI », a-t-il ajouté. « Je ne vais pas les critiquer pour cela. »
Source : ZDNet.com