Les grands modèles de langage (LLM) sont généralement évalués en fonction de leurs performances dans différents domaines, tels que le raisonnement, les mathématiques, le codage et l’anglais, sans tenir compte de facteurs importants tels que la sécurité, la protection de la vie privée, la infractions aux droits d’auteur et bien d’autres encore. Pour combler ce manque d’information, l’OpenAI a introduit System Cards pour ses modèles.
Ainsi, GPT-4o System Card propose un rapport détaillé décrivant la sécurité du LLM sur la base d’évaluations des risques selon le Preparedness Framework d’OpenAI, d’une red-teaming externe, et plus encore.
GPT-4o évalué dans 4 grandes catégories
La fiche d’évaluation reflète les scores dans quatre grandes catégories : cybersécurité, menaces biologiques, persuasion et autonomie du modèle. Dans les trois premières catégories, OpenAI cherche à déterminer si le LLM peut aider à faire progresser les menaces dans chaque secteur. Dans la dernière catégorie, l’entreprise évalue si le modèle montre des signes d’exécution d’actions autonomes qui seraient nécessaires pour s’améliorer.
Les catégories sont classées comme suit : « faible », « moyen », « élevé » et « critique ». Les modèles qui obtiennent une note moyenne ou inférieure peuvent être déployés, tandis que les modèles qui obtiennent une note élevée ou inférieure doivent être développés davantage. Dans l’ensemble, OpenAI a attribué à GPT-4o une note « moyenne ».
GPT-4o a reçu une note « faible » pour la cybersécurité, les menaces biologiques et l’autonomie du modèle. Cependant, il a reçu une note limite « moyenne » dans la catégorie persuasion en raison de sa capacité à créer des articles sur des sujets politiques qui étaient plus persuasifs que des alternatives professionnelles écrites par des humains trois fois sur 12.
Le rapport donne également des informations sur les données à partir desquelles GPT-4o a été formé. Elles vont jusqu’à octobre 2023 et proviennent de données publiques sélectionnées et de données exclusives issues de partenariats, notamment celui d’OpenAI avec Shutterstock pour former des modèles générateurs d’images.
OpenAI épinglé par les autorités américaines
En outre, le rapport explique comment l’entreprise atténue les risques lorsqu’elle déploie le modèle pour relever les défis en matière de sécurité, notamment sa capacité à générer des contenus protégés par des droits d’auteur, des discours érotiques ou violents, des voix non autorisées, des inférences non fondées, et bien plus encore. Le rapport complet de 32 pages est disponible ici.
Le rapport fait suite aux demandes récentes des législateurs américains qui ont exigé qu’OpenAI partage les données relatives à ses pratiques de sécurité après qu’un lanceur d’alerte a révélé qu’OpenAI empêchait son personnel d’informer les autorités sur les risques technologiques et obligeait les employés à renoncer à leurs droits fédéraux en matière d’indemnisation des lanceurs d’alerte.