Après plusieurs jours d’essai, un constat s’impose : le chatbot conversationnel de Google n’est pas au niveau de la concurrence, qu’il s’agisse de ChatGPT ou de Bing. Le géant du Web en est conscient, et travaille à vite corriger sa copie.
Rappelez-vous, c’était il y a quelques semaines seulement. Le 6 février dernier, Google dévoilait sa réponse à ChatGPT, sans tambour ni trompette, par le biais d’un simple billet de blog.
Il y avait urgence, pour le géant du Web, à répondre à la nouvelle sensation tech. Et après une bonne semaine de tests divers sur la plate-forme, force est de constater que Bard a bel et bien été lancé dans la précipitation, tant il peine à convaincre face à ses deux principaux rivaux : ChatGPT et Bing.
Premier constat : Bard n’est disponible qu’en anglais. C’est à vrai dire logique, étant donné qu’il est réservé, pour l’instant, aux utilisateurs américains et canadiens. Mais cela peut paraître étrange, alors que ChatGPT est en mesure de vous répondre (et de traduire ses réponses !) en des dizaines de langues différentes, y compris en breton ou en corse. Et c’est d’autant plus étonnant que Google dispose en parallèle d’un outil de traduction en ligne parmi les meilleurs du marché.
Bard n’est pas encore au niveau de ChatGPT
Mais l’absence de maîtrise des langues étrangères n’est pas ce qui frappe le plus lorsqu’on utilise Bard. Après quelques « prompts », on remarque bien vite que le chatbot s’exprime moins bien que ses congénères Bing ou ChatGPT. Ses réponses ont tendance à être moins précises, plus courtes, et son style beaucoup plus académique et froid, parfois presque télégraphique. Un dialogue avec Bard n’apporte ainsi pas le sentiment – étrange et évidemment trompeur – d’avoir affaire à véritable interlocuteur de l’autre côté de l’écran, comme on peut occasionnellement le croire quand on discute avec ChatGPT.
Nous avons ainsi comparé les performances de Bard et celles de ChatGPT ou Bing dans de nombreux cas d’usages : résumés de pages Web, génération d’articles ou de poèmes, vulgarisation de notions scientifiques… Systématiquement, les résultats des services d’OpenAI se sont révélés meilleurs.
Bard a bien certaines qualités que ses congénères n’ont pas : il est par exemple en mesure de correctement résumer l’actualité sans (trop) se tromper ni fournir d’informations défraîchies. Il se débrouille également très bien pour résoudre des devinettes et des problèmes mathématiques. Mais Google, pris par le temps et sans doute aussi pour limiter les abus qui pourraient découler de l’utilisation de son robot, l’a bridé, et ça se sent immédiatement.
PaLM à la rescousse
Google est parfaitement conscient des lacunes de ce qu’il appelle toujours une « expérimentation », loin d’être un produit fini. Dans un podcast publié récemment par le New York Times, son patron Sundar Pichai ne s’est pas montré très tendre avec Bard : « j’ai l’impression que nous avons pris une Civic tunée puis l’avons mise dans une course avec des voitures plus puissantes. » Honda appréciera, comme les équipes de Google qui ont été vraisemblablement chargées de concocter Bard en urgence.
Les semaines qui viennent vont toutefois être très intéressantes à suivre, car Google n’a évidemment pas dit son dernier mot. En coulisse, il a déjà mis à jour Bard pour tenter de revenir au niveau, et promet de sérieuses améliorations dans les jours à venir.
À la fin mars, ses équipes ont en effet discrètement amélioré ses capacités en mathématiques et logique en intégrant « certaines des avancées que nous avons développées dans PaLM », selon Jack Krawczyk, directeur produit Bard chez Google, sur Twitter. Sundar Pichai a par ailleurs annoncé, toujours au New York Times, que son chatbot allait être « mis à jour » sous peu afin de profiter des avancées de PaLM.
Hope you’ve had a chance to start testing out Bard! We’re constantly working on developing new features for it – today I wanted to share that we’ve improved Bard’s capabilities in math and logic by incorporating some of the advances we’ve developed in PaLM. /1 pic.twitter.com/RNMC5S9cRU
— Jack Krawczyk (@JackK) March 31, 2023
PaLM est un autre modèle de langage, dévoilé en 2022, bien plus performant que LaMDA, le modèle qui anime le service actuellement. Intégré à Bard, il pourrait bien rebattre les cartes et remettre très vite Google dans la course. PaLM repose sur une toute nouvelle architecture d’IA concoctée en interne (Pathways) et s’appuie sur pas moins de 540 milliards de paramètres, ce qui en fait l’un des plus grands modèles du marché. Il devrait grandement aider Bard à formuler de meilleures réponses, mais aussi lui permettre de raisonner de façon beaucoup plus complexe et de générer du code informatique. De quoi permettre à Google de revenir au niveau, voire de dépasser GPT-4 ?