En octobre, OpenAI a intégré ChatGPT Search à son chatbot ChatGPT, promettant une expérience dans laquelle les utilisateurs pourraient naviguer sur le Web et accéder aux dernières informations de ses partenaires d’actualités et des sites qui n’ont pas bloqué son robot d’exploration Web. Une nouvelle étude du Tow Center for Digital Journalism de l’université Columbia montre que le processus n’est peut-être pas aussi efficace qu’il y paraît.
Le Tow Center a effectué un test pour déterminer dans quelle mesure le contenu des éditeurs est bien représenté sur ChatGPT. Il a sélectionné au hasard 10 articles de 20 éditeurs qui se sont associés à OpenAI, qui sont impliqués dans des poursuites judiciaires contre OpenAI ou qui sont des éditeurs non affiliés qui ont autorisé ou bloqué le robot d’exploration Web.
Toutes les réponses, y compris incorrectes, présentées avec la même assurance
Les chercheurs ont ensuite extrait 200 citations qui, une fois exécutées par des moteurs de recherche comme Google ou Bing, ont renvoyé à la source dans les trois premiers résultats. En ce qui concerne ChatGPT, les résultats étaient très variables, certains entièrement corrects ou incorrects, d’autres partiellement corrects. Pourtant, presque toutes les réponses ont été présentées avec assurance, sans que l’IA ne dise qu’elle ne pouvait pas produire de réponse même de la part d’éditeurs qui avaient bloqué son robot d’exploration Web.
« Au-delà de tromper les utilisateurs, la fausse confiance de ChatGPT pourrait risquer de nuire à la réputation des éditeurs », peut-on lire dans l’étude.
Le risque de nuire à l’image des médias partenaires
Cette affirmation est étayée par un exemple dans lequel ChatGPT a attribué de manière inexacte une citation de l’Orlando Sentinel à un article du Time, plus d’un tiers des réponses de ChatGPT contenant des citations incorrectes étant de cette nature. Une mauvaise attribution peut nuire à l’image d’une publication et à la confiance de son lectorat.
Parmi les autres résultats problématiques de l’expérience, citons le fait que ChatGPT a cité un article du New York Times, qui l’a bloqué, à partir d’un autre site Web qui avait plagié l’article, ou la citation d’une version syndiquée d’un article de MIT Tech Review au lieu de l’article original, bien que MIT Tech Review autorise l’exploration.
Toujours vérifier la source utilisée
En fin de compte, cette recherche soulève une question plus vaste : la création de nouveaux moteurs de recherche IA profite-t-elle réellement aux éditeurs ou nuit-elle à leurs activités à long terme ? Les données sur lesquelles repose la méthodologie sont partagées sur GitHub et peuvent être consultées par le public.
Les consommateurs doivent toujours vérifier la source en cliquant sur la note de bas de page fournie par l’IA ou en effectuant une recherche rapide sur un moteur de recherche reconnu, comme Google. Ces étapes supplémentaires aideront à prévenir les hallucinations.