IA : Faux départ pour le modèle LUCIE

IA : Faux départ pour le modèle LUCIE



Dans un contexte aussi compétitif que celui qui entoure le développement de grands modèles de langage, il est compliqué de présenter au public un produit qui ne soit pas capable de tenir la comparaison avec la concurrence.  Linagora en a fait l’amère expérience ce week-end : la société spécialisée dans l’open source a présenté le 23 janvier une première version de test du modèle de langage LUCIE, avec lequel les internautes pouvaient interagir sous la forme d’un chatbot pendant une période d’un mois.

Open source et souverain

Les promesses de LUCIE étaient nombreuses : le projet était porté par Linagora et le consortium OpenLLM France et proposait une IA « souveraine » s’appuyant sur 7 milliards de paramètres, entraînée sur un corpus de textes en plusieurs langues (Anglais, Français, Allemand, Espagnol et Italien). Le tout était proposé en open source, l’entièreté du corpus d’entraînement ainsi que le code source utilisé par le modèle étant mis à disposition sous une licence Creative Commons. En outre, le projet participait au travers du consortium OpenLLM France à un appel à projet France 2030 et avait pour ambition de venir à terme proposer ses outils aux enseignants et aux établissements scolaires.

Malheureusement, les internautes n’ont pas tardé à mettre en avant les faiblesses du programme, qui ne tenait pas la comparaison avec les modèles de langage les plus évolués tels que ceux proposés par Meta ou OpenAI. Les réponses et les hallucinations fréquentes de LUCIE ont suscité de nombreuses critiques pendant le week-end, ce qui a conduit les créateurs du chatbot à mettre fin de manière prématurée à la période de test. 

Dans un communiqué, Linagora a ainsi rappelé qu’en l’état, le modèle LUCIE n’était qu’un projet de recherche encore embryonnaire n’ayant pour l’instant aucune vocation à être utilisée dans un contexte de production. Le message rappelle ainsi que pour l’instant, « aucun travail spécifique n’a été réalisé avec l’Éducation Nationale pour personnaliser ou adapter le modèle à un usage éducatif. »  Le communiqué explique aussi que le modèle utilisé dans le cadre de cette période de test était dépourvu de nombreux modules visant à affiner les résultats et ses réponses : pas de garde-fous contre les réponses inappropriées ni de calibrage des réponses par des relecteurs humains.

Coup d’envoi prématuré

La société s’excuse pour une mise en ligne prématurée, mais explique avoir voulu exposer « une première itération du modèle et aussi un appel à la collecte des données d’instruction qui nous manquent cruellement ». »Là où les acteurs des Big Techs semblent utiliser des millions de paires de questions/réponses (principalement en anglais et sans que ces données soient open source) pour aligner leurs modèles, nous, nous nous appuyons sur quelques dizaines de milliers de paires en français couvrant peu de domaines et donc peu de cas d’usage » écrivent les initiateurs du projet.  L’enjeu pour les concepteurs était donc de récolter un grand nombre d’interactions en français afin d’affiner les capacités du modèle encore en cours de construction, une ressource nécessaire pour espérer développer un modèle de langage comparable à ceux présenté par les grands acteurs du secteur. Mais le coût en matière d’image semble avoir excédé les bénéfices escomptés.

Ce cas de figure n’est pas sans rappeler la mise en ligne du chatbot Tay par Microsoft en 2016. Là aussi, le but était de récolter un grand nombre d’interactions avec des utilisateurs humains afin d’affiner les capacités du modèle. Mais la propension du programme à intégrer le discours de ses interlocuteurs avait conduit à de nombreux dérapages du chatbot, qui avait finalement été rapidement mis hors ligne pour éviter la casse.



Source link

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.