Le fabricant de ChatGPT, OpenAI, vient de publier un outil de « classification » capable de détecter les textes écrits par l’IA. Mais il préciser qu’il ne faut cependant pas trop s’y fier.
L’étendue des questions pour lesquelles ChatGPT peut créer des réponses alarme la communauté enseignante, car certains élèves commencent à rendre des devoirs générés par l’IA en le faisant passer pour leur propre travail.
Le secteur de l’éducation est donc un domaine qui pourrait bénéficier du nouveau classificateur d’OpenAI, et ce en automatisant la détection des dissertations et des devoirs générés par l’IA. Il pourrait permettre une réponse différente de celle qui consiste à restreindre ou à interdire son utilisation, comme la fait récemment en France Science Po, ou encore les écoles de New York et d’Australie.
Impossible de détecter de manière fiable tous les textes écrits par l’IA
Le classificateur pourrait également aider des entreprises comme le site de questions-réponses pour développeurs Stack Overflow, qui a interdit les réponses ChatGPT après que ses modérateurs ont été inondés de solutions parfois correctes.
Bien que le classificateur puisse éliminer une partie du travail de détection, OpenAI affirme qu’il est impossible de détecter de manière fiable tous les textes écrits par l’IA et qu’un certain nombre de limitations ont un impact sur son efficacité.
Le classificateur identifie correctement 26 % des textes écrits par l’IA comme « probablement écrits par l’IA » – son taux de vrais positifs. Il identifie aussi de manière erronée les textes écrits par des humains comme étant écrits par l’IA dans 9 % des cas (taux de faux positifs). En d’autres termes, il y a une probabilité élevée qu’il ne détecte pas un texte soumis par un humain qui n’a pas révélé qu’il avait été écrit par l’IA. Et une certaine probabilité qu’il se trompe dans les deux cas. Mais l’entreprise affirme que le classificateur est « nettement plus fiable sur les textes provenant de systèmes d’IA plus récents » que son précédent détecteur basé sur GPT-2.
250 mots pour faire une analyse
« Nous mettons ce classificateur à la disposition du public afin d’obtenir des commentaires sur l’utilité d’outils imparfaits comme celui-ci », a déclaré OpenAI dans un communiqué, ajoutant espérer que l’outil « suscitera des discussions sur la connaissance de l’IA ».
L’outil gratuit de classification du Web est disponible ici. Pour l’utiliser, il faut copier et coller une partie du texte dans la zone de texte, puis cliquer sur « Envoyer ». L’outil classera le texte comme étant « très improbable », « improbable », « incertainement », « possiblement » ou « probablement » généré par l’IA.
Le classificateur a besoin d’au moins 1 000 caractères – soit environ 150 à 250 mots – pour analyser un texte. OpenAI prévient qu’il est facile de modifier un texte généré par l’IA afin d’éviter les programmes de détection. En outre, l’outil est plus susceptible de mal étiqueter les textes écrits par des enfants et les textes non anglophones, car il a été formé principalement sur des contenus en anglais écrits par des adultes.
Par ailleurs, OpenAI affirme ne pas avoir « évalué de manière approfondie l’efficacité du classificateur dans la détection de contenus écrits en collaboration avec des auteurs humains. » L’entreprise précise que l’outil ne doit « pas être utilisé comme un outil de décision principal », mais comme un complément à d’autres méthodes permettant de déterminer la source d’un texte.
Source : « ZDNet.com »