Beaucoup d’encre a coulé ces derniers temps sur les promesses du programme ChatGPT d’OpenAI pour générer des énoncés en langage naturel et répondre à des questions posées par les humains.
Toutefois, beaucoup d’articles ont aussi insisté sur le fait que ChatGPT produit pas mal de fausses informations. La revue Nature a rapporté que le programme ne répondait pas aux critères d’exigence des articles de recherche « parce qu’il ne peut pas assumer la responsabilité du contenu et de l’intégrité des articles scientifiques ».
Certains chercheurs découvrent une autre limite plus subtile de ChatGPT : ses résultats peuvent avoir tendance à être banals, trop généraux et peu informatifs, même lorsque le programme n’est pas inexact.
C’est ce qu’ont découvert les auteurs Barbara Treutlein et Patrick Cahan lorsqu’ils ont utilisé ChatGPT pour les aider à rédiger du contenu pour la revue scientifique Stem Cell Reports, une publication du géant de l’édition scientifique Cell Press. L’article a été mis en ligne le 10 janvier dernier.
Quand les réponses manquent de profondeur
Les rédacteurs ont posé diverses questions fondamentales sur le domaine de la biologie computationnelle à ChatGPT. L’objectif était de démontrer « comment les progrès de l’informatique peuvent aider les chercheurs (…) en gagnant du temps et en nous permettant ainsi de faire plus de recherche ! »
Les auteurs ont reproduit, sous une forme éditée, leurs invites à ChatGPT et les réponses du programme. Voici l’un des exemples de questions et de réponses :
- La consigne : Quels sont les principaux défis liés à l’utilisation de techniques informatiques pour répondre aux questions de la biologie des cellules souches ?
- La réponse de ChatGPT : « Le besoin de grandes quantités de données : Pour modéliser avec précision le comportement des cellules souches, les chercheurs ont besoin de grandes quantités de données sur le comportement des cellules individuelles et les interactions entre les différents types de cellules. Cela peut être difficile à collecter et à traiter, en particulier lorsqu’il s’agit d’un grand nombre de cellules. »
Même si Barbara Treutlein et Patrick Cahan observent que ChatGPT a été « utile pour articuler comment la biologie des systèmes computationnels aidera la recherche sur les cellules souches et pour identifier certains obstacles », ils notent que « dans l’ensemble, beaucoup de réponses manquaient de profondeur et de perspicacité. »
Capacité de synthèse
Pour approfondir la question, ZDNet a envoyé un courriel aux éditeurs pour leur demander d’expliquer comment distinguer les réponses significatives.
Patrick Cahan a répondu par e-mail avec une collection annotée d’invites et de réponses de ChatGPT qui, écrit-il, démontrent « un manque flagrant de profondeur et de perspicacité » du programme.
Malgré ces lacunes, Patrick Cahan a déclaré à ZDNet : « En général, je suis très impressionné par la puissance de cet outil. » Patrick Cahan enseigne un cours de biologie computationnelle des cellules souches et a déclaré avoir testé la capacité de ChatGPT à écrire du code pour répondre à certains de ses problèmes.
« Il le fait bien (pas parfaitement), et il documente le code ! » a écrit Patrick Cahan. « Je pense également qu’il a une capacité impressionnante à synthétiser et à résumer l’information, et je suis donc impatient de voir ce qui résultera de sa personnalisation pour la littérature biomédicale. »
Source : ZDNet.com