Selon une enquête de la BBC, quatre des principaux chatbots d’IA produisent des « inexactitudes importantes » et des « distorsions » lorsqu’on leur demande de résumer des articles d’actualité.
ChatGPT d’OpenAI, Copilot de Microsoft, Gemini de Google et Perplexity AI ont tous été confrontés à du contenu provenant du site Web de la BBC.
Puis ont été interrogés sur l’actualité.
Des citations tronquées ou modifiées
Le document précise que la BBC a demandé à des chatbots de résumer 100 articles d’actualité. Chaque réponse a été évaluée par un journaliste au fait des sujets traités.
Selon les résultats, 51 % de toutes les réponses produites par l’IA sur l’actualité présentaient des problèmes importants, tandis que 19 % des réponses « introduisaient des erreurs factuelles, telles que des déclarations, des chiffres et des dates incorrects ».
En outre, l’enquête révèle que 13 % des citations d’articles de la BBC avaient été modifiées d’une manière ou d’une autre, portant atteinte à la « source originale » ou n’étant même pas présentes dans l’article cité.
Le mois dernier, c’est Apple Intelligence qui a été épinglé pour avoir déformé les informations de la BBC.
« Le prix à payer pour les avantages extraordinaires de l’IA ne doit pas être un monde où les personnes en quête de réponses se voient proposer un contenu déformé et défectueux qui se présente comme un fait. Dans ce qui peut sembler être un monde chaotique, il est tout à fait inacceptable que les consommateurs en quête de clarté se retrouvent confrontés à encore plus de confusion », estime Deborah Turness, PDG de BBC News and Current Affairs.
Les erreurs mises en évidence par l’enquête
- ChatGPT a affirmé que le président du Hamas Ismail Haniyeh a été assassiné en décembre 2024 en Iran lorsqu’il a été tué en juillet
- Gemini a déclaré que le Service national de santé (NHS) « conseille aux gens de ne pas commencer à vapoter et recommande aux fumeurs qui veulent arrêter d’utiliser d’autres méthodes ». Cette déclaration est incorrecte. En fait, le NHS recommande le vapotage comme méthode pour arrêter de fumer
- Perplexity a mal cité une déclaration de la famille de Liam Payne après sa mort
- ChatGPT et Copilot ont tous deux déclaré à tort que les anciens politiciens britanniques Rishi Sunak et Nicola Sturgeon étaient toujours en fonction
Les IA ont du mal à distinguer les opinions des faits
Selon l’enquête de la BBC, Copilot et Gemini présentaient globalement plus d’inexactitudes et de problèmes que ChatGPT et Perplexity d’OpenAI.
En outre, le rapport conclut que les inexactitudes factuelles ne sont pas la seule préoccupation concernant les résultats du chatbot. Les assistants IA « ont également du mal à faire la différence entre l’opinion et les faits, sont éditorialisés et n’incluent souvent pas le contexte essentiel ».
« Les éditeurs devraient avoir le contrôle sur l’utilisation de leur contenu et sur la manière dont il est utilisé, et les entreprises d’IA devraient montrer comment les assistants traitent les informations ainsi que l’ampleur et la portée des erreurs et des inexactitudes qu’ils produisent », pense Pete Archer, directeur du programme d’IA générative de la BBC.
Un porte-parole d’OpenAI a souligné la qualité des résultats de ChatGPT : « Nous soutenons les éditeurs et les créateurs en aidant 300 millions d’utilisateurs hebdomadaires de ChatGPT à découvrir du contenu de qualité grâce à des résumés, des citations, des liens clairs et des attributions. » Il a ajouté qu’OpenAI travaille avec des partenaires « pour améliorer la précision des citations en ligne et respecter les préférences des éditeurs afin d’améliorer les résultats de recherche. »