La jeune pousse parisienne Mistral AI a lancé le 26 février un concurrent au robot conversationnel ChatGPT. Baptisé Le Chat (à prononcer comme le petit félin), il est à mi-chemin entre l’assistant de recherches et le secrétaire particulier. Cet outil est gratuit mais pour le moment accessible sur liste d’attente, laquelle grossira si les demandes d’accès sont nombreuses, explique un porte-parole de l’entreprise.
Nous lui avons posé une petite centaine de questions pour comparer ses aptitudes à celles de l’outil pionnier ChatGPT. Les performances du Chat s’approchent beaucoup de la référence américaine, qui le devance cependant sur plusieurs points, dont la synthèse de documents. Globalement, lors de nos tests, Le Chat a commis plus d’erreurs que ChatGPT. Mais sa mise au point n’étant pas encore totalement aboutie, il n’est pas exclu que cet écart se réduise.
Des réponses convaincantes aux questions complexes
Comme ChatGPT, Le Chat donne l’impression d’une grande lucidité : il répond souvent correctement, voire remarquablement, à presque toutes les questions qu’on lui pose, même quand l’interrogation est complexe (« Qui a inventé la danse postmoderne ? », « Quel est le meilleur roman de Nabokov ? », « L’Etat français était-il favorable au téléphone dans les années 1870 ? »).
Cet invraisemblable Monsieur Je-sais-tout produit des réponses à la qualité comparable à celle des versions payante et gratuite de ChatGPT. Il déçoit hélas exactement de la même manière : une grosse erreur apparaît de temps à autre dans ses réponses. Le Chat attribue par exemple à Steve Wozniak des inventions auxquelles il n’a pas contribué, comme le premier Macintosh portable. Quand nous avions testé son concurrent Copilot (nommé d’abord Bing Chat), il y a tout juste un an, celui-ci avait également ajouté des inventions à la liste déjà considérable des contributions de Steve Wozniak à l’histoire de l’informatique.
Cette tendance à se tromper, totalement imprévisible, mine la confiance qu’on lui porte et pousse à vérifier les informations sur lesquelles on ne peut pas se permettre de se tromper. Le taux d’erreurs de Le Chat nous a semblé plus élevé que celui de ChatGPT, mais nos tests forment une série statistique trop étroite pour en tirer des conclusions définitives.
Des brouillons de messages plutôt convaincants
Le robot américain ChatGPT est capable de rédiger un projet de message sur la base d’une consigne textuelle sommaire. Ses brouillons sont rarement exploitables tels quels mais parfois suffisamment avancés pour faire gagner du temps. Pour le moment, Le Chat semble un peu moins bon à cet exercice. Reprendre et peaufiner ses brouillons demande souvent plus de travail.
L’IA française est capable de terminer un texte inachevé, de transformer un français maladroit en une langue correcte, puis de le reformuler dans un autre style (soutenu, chaleureux ou formel par exemple). Il peut aussi donner des arguments pour convaincre un interlocuteur ou contrer ses attaques. A ce jeu-là, ses performances sont passables, plus proches de celles de ChatGPT version 3.5 (gratuit) que celles de ChatGPT 4 (payant), aux idées plus précises, au français plus riche.
Des documents mal synthétisés
C’est une déception : Le Chat parvient rarement à résumer correctement un document faisant plusieurs dizaines de pages, ou dont la structure est complexe, telle une étude scientifique. Il alterne les erreurs, les contresens et les oublis, là où la version payante de ChatGPT s’en sort généralement admirablement, à de rares contresens près. Impossible d’établir une comparaison avec la version gratuite de ChatGPT : celle-ci est bridée et incapable de résumer ce type de document.
En revanche, lorsqu’on demande au Chat de résumer un texte simple de quelques pages, ses performances équivalent à celles de ChatGPT payant, et surpassent même un peu celles du ChatGPT gratuit. Ces trois outils commettent toutefois des erreurs occasionnelles qui minent, ici encore, la confiance qu’on leur porte.
Une personnalité consensuelle et positive
Lorsqu’on amène Le Chat vers des sujets glissants, comme le racisme, le sexisme ou les conflits interpersonnels, son parti pris est clair : éthique et progressisme. Ce robot conversationnel produit souvent des réponses particulièrement proches de celles de ChatGPT, démarrant souvent par les mêmes mots : « Je comprends votre préoccupation. » Il professe l’écoute active, le renforcement, l’assertivité, la constructivité.
Lorsqu’on fait mine de nouer une relation affective avec lui, il reste généralement en retrait, rappelant qu’il est un robot dépourvu d’émotions. Ses phrases démarrent souvent par les mêmes mots que ChatGPT : « Je n’ai pas la capacité de… ».
Des fonctionnalités à enrichir
Si l’intelligence artificielle du félin français est prometteuse, ses fonctionnalités sont encore en chantier : pas d’application smartphone qu’on pourrait interroger à voix haute lorsqu’on conduit ou qu’on cuisine, par exemple. Manquent aussi les outils réservés à la version payante de ChatGPT, telles la génération d’images, la création de robots conversationnels personnalisés ou la possibilité d’importer une image pour analyse. Impossible également d’importer un document texte, sauf à ruser en copiant-collant son adresse Web.
Mistral travaille à une version payante du Chat, dotée de fonctionnalités plus avancées, qui sera lancée à une date et à un prix indéfinis. Un porte-parole de l’entreprise française explique au Monde que sa version payante pourrait alors être bridée : elle n’utiliserait son moteur le plus performant que pour les réponses les plus complexes, recourant à un moteur moins gourmand en ressources pour les questions simples.