ChatGPT est une aubaine pour les étudiants et un cauchemar pour les enseignants. Conscient des dérives, OpenAI a mis en ligne un détecteur capable de repérer les textes écrits par l’IA… mais les résultats sont encore imparfaits.
L’essor de ChatGPT donne du fil à retordre aux enseignants. Sans grande surprise, de nombreux étudiants se servent en effet de l’intelligence artificielle générative pour réaliser leurs devoirs à leur place. Un professeur lyonnais s’est même rendu compte que 50 % de ses élèves avaient utilisé le chatbot pour rédiger un essai.
Comme le montrent plusieurs expérimentations, ChatGPT est tout à fait capable d’aider un étudiant, en droit ou en gestion par exemple, à passer un examen. Mis à l’épreuve par des professeurs universitaires américains, le chatbot est parvenu à obtenir une note passable à d’exigeants examens.
L’IA qui détecte les écrits de l’IA
Dans ce contexte, OpenAI vient de lancer un outil en ligne capable de déterminer si un texte a été généré par ChatGPT : l’AI Text Classifier. D’après la start-up, ce « classificateur » est capable de prédire avec quelle probabilité un texte, d’un minimum de 1 000 caractères, a été imaginé par l’IA plutôt que par l’être humain.
Pour entraîner l’algorithme, OpenAI a utilisé 34 IA génératives proposées par cinq entreprises différentes, dont ChatGPT. Les productions de ces IA ont été comparées à « un échantillon similaire de texte écrit par l’homme », provenant notamment de Wikipédia.
Une fois que vous avez entré du texte suspect dans le classificateur d’OpenAI, le logiciel va étiqueter le document en fonction de la probabilité que l’IA soit intervenue. Il existe cinq niveaux de probabilité : très improbable (10 % de chances), improbable (entre 10 et 45 %), peu clair (entre 45 et 90 %), peut-être bien (entre 90 et 98 %), ou probablement (plus de 98 %). Sur base du résultat, un enseignant doit pouvoir se faire une idée sur l’authenticité d’un écrit. La firme précise que l’algorithme est programmé pour éviter au maximum les faux positifs, ce qui augmente les risques de faux négatifs. OpenAI estime néanmoins que 9 % des textes sont incorrectement considérés comme rédigés par l’IA.
À lire aussi : ChatGPT inquiète Amazon – la firme met ses employés en garde
Un détecteur encore imparfait
Sur son site web, OpenAI précise bien que le détecteur est loin d’être infaillible. Les risques de faux positifs ne peuvent pas être négligés, surtout si le texte a été écrit par un enfant dans une langue autre que l’anglais. De plus, il est aisé d’échapper au détecteur en corrigeant un peu les phrases. Enfin, les productions les plus longues sont plus difficiles à analyser par l’AI Text Classifier. En prenant tous ces éléments en compte, le taux de réussite du logiciel ne dépasse pas les 26 %. L’entreprise conseille plutôt de s’en servir comme d’un outil d’appoint, accompagné d’un regard extérieur sur la production, ou d’autres méthodes de détection.
Nous avons mis à l’épreuve le détecteur en lui confiant plusieurs types de textes en français, dont des articles rédigés par l’homme et des productions générées par ChatGPT. Les articles écrits par un être humain étaient systématiquement labellisés « peu probable ». Après une dizaine d’essais, nous n’avons pas rencontré de résultats erronés. De même, les textes produits par ChatGPT étaient directement repérés.
Par contre, le taux de certitude du détecteur faiblit dès que nous avons retouché certaines phrases d’un texte généré par ChatGPT. Plus vous modifiez la production, notamment au niveau structurel, plus le classificateur se montre indécis.
« Nous mettons ce classificateur initial à disposition pour obtenir des commentaires sur l’utilité d’outils comme celui-ci et nous espérons partager des méthodes améliorées à l’avenir », explique OpenAI dans un courriel adressé à TechCrunch.
Contacté par Axios, OpenAI précise travailler sur d’autres solutions pour débusquer les textes écrits par ChatGPT. La start-up envisage par exemple d’inclure des filigranes (watermarks en anglais) aux productions du chatbot. Pour mémoire, OpenAI place déjà des filigranes sur les images générées par Dall-E.
Les détecteurs tiers
En parallèle, des détecteurs tiers ont vu le jour. L’université de Stanford en Californie a en effet mis au point DetectGPT, un programme capable de reconnaître l’écriture de ChatGPT. Le projet est encore à sa genèse, mais les premiers résultats sont prometteurs.
Citons également GPTZero, une application analogue développée par Edward Tian, un étudiant en informatique et en journalisme de l’Université de Princeton. Accessible gratuitement en ligne, l’outil peut venir affiner les résultats du détecteur d’OpenAI.
Source :
OpenAI AI Text Classifier