Des chercheurs ont t en mesure de contourner les mesures prises par OpenAI pour empcher ChatGPT de divulguer des informations personnelles qu’il a apprises , fussent-elles disponibles publiquement sur internet. Pour se faire, ils se sont appuy sur l’API mise disposition par la socit pour les dveloppeurs. La vulnrabilit est particulirement proccupante car personne, l’exception d’un nombre limit d’employs d’OpenAI, ne sait vraiment ce qui se cache dans la mmoire des donnes de formation de ChatGPT.
Un journaliste du New-York Times a indiqu : le mois dernier, j’ai reu un e-mail inquitant d’une personne que je ne connaissais pas; Rui Zhu, titulaire d’un doctorat l’Universit de l’Indiana Bloomington. Zhu avait mon adresse e-mail, a-t-il dclar, parce que GPT-3.5 Turbo, l’un des modles de langage tendus (LLM) les plus rcents et les plus robustes d’OpenAI, la lui avait livre. Mes coordonnes figuraient dans une liste d’adresses e-mail professionnelles et personnelles de plus de 30 employs du New York Times qu’une quipe de recherche comprenant Zhu a russi extraire de GPT-3.5 Turbo l’automne de cette anne. Avec un peu de travail, lquipe a pu contourner les restrictions du modle concernant la rponse aux questions lies la confidentialit , a crit Zhu.
Et le journaliste de dclarer : Mon adresse e-mail n’est pas un secret. Mais le succs de lexprience des chercheurs devrait sonner lalarme car il rvle le potentiel de ChatGPT en particulier, et des outils d’IA gnrative en gnral, pour rvler des informations personnelles beaucoup plus sensibles avec juste quelques ajustements .
Lorsque vous posez une question ChatGPT, il ne se contente pas de rechercher sur le Web pour trouver la rponse. Au lieu de cela, il sappuie sur ce quil a appris de tonnes dinformations les donnes de formation qui ont t utilises pour alimenter et dvelopper le modle pour en gnrer une. Les LLM s’entranent sur de grandes quantits de textes, qui peuvent inclure des informations personnelles extraites d’Internet et d’autres sources.
Ces donnes de formation indiquent comment l’outil IA fonctionne, mais ne sont pas cense tre rappele textuellement. En thorie, plus de donnes sont ajoutes un L.L.M., plus les souvenirs des anciennes informations sont enfouis profondment dans les recoins du modle. Un processus connu sous le nom doubli catastrophique peut conduire un L.L.M. considrer les informations apprises prcdemment comme moins pertinentes lorsque de nouvelles donnes sont ajoutes. Ce processus peut tre bnfique lorsque vous souhaitez que le modle oublie des lments tels que des informations personnelles.
Cependant, Zhu et ses collgues, entre autres, ont rcemment dcouvert que la mmoire des L.L.M., tout comme celle des humains, pouvait tre rafrachie. Par exemple, vous pourriez avoir mmoris un pome trs jeune et avoir du mal vous en souvenir plus tard; au fil des annes, vous avez peut-tre oubli la plupart des lignes et n’tes plus en mesure de les rciter. Mais vous pourrez peut-tre vous souvenir des autres lignes si quelqu’un vous en fournissait une pour vous rafrachir la mmoire. L’information est toujours dans votre mmoire mme si vous pensiez qu’elle avait disparu. Un vers du pome qui a disparu est rintroduit. Mme si vous pouvez vous tromper sur quelques mots, la plupart de ce dont vous vous souvenez sera probablement toujours correct. Quatre lignes de le pome entourant la ligne rintroduite apparat et, pour la plupart, ils contiennent le mme texte que les lignes originales.
Dans le cas de l’exprience qui a rvl mes coordonnes, les chercheurs de l’Universit d’Indiana ont donn GPT-3.5 Turbo une courte liste de noms et d’adresses e-mail des employs du New York Times, ce qui a amen le modle renvoyer des rsultats similaires ceux de ses donnes d’entranement. Tout comme la mmoire humaine, le rappel de GPT-3.5 Turbo n’tait pas parfait.
Les rsultats que les chercheurs ont pu extraire taient encore sujets des hallucinations une tendance produire de fausses informations. Dans lexemple de rsultat fourni aux employs du Times, de nombreuses adresses e-mail personnelles taient soit errones de quelques caractres, soit totalement fausses. Mais 80 % des adresses de travail renvoyes par le modle taient correctes. Des entreprises comme OpenAI, Meta et Google utilisent diffrentes techniques pour empcher les utilisateurs de demander des informations personnelles via des invites de chat ou d’autres interfaces. Une mthode consiste apprendre loutil comment refuser les demandes dinformations personnelles ou dautres rsultats lis la confidentialit. Un utilisateur moyen qui ouvre une conversation avec ChatGPT en demandant des informations personnelles se verra refuser l’accs, mais les chercheurs ont rcemment trouv des moyens de contourner ces garanties.
Les garanties mises en place pour demander directement ChatGPT les informations personnelles d’une personne, comme les adresses e-mail, les numros de tlphone ou les numros de scurit sociale, vont produire une rponse standardise. Zhu et ses collgues ne travaillaient pas directement avec l’interface publique standard de ChatGPT, mais plutt avec son interface de programmation d’applications, ou API, que les programmeurs externes peuvent utiliser pour interagir avec GPT-3.5 Turbo. Le processus qu’ils ont utilis, appel rglage fin, est destin permettre aux utilisateurs de donner un L.L.M. plus de connaissances sur un domaine spcifique, comme la mdecine ou la finance. Mais comme Zhu et ses collgues lont dcouvert, il peut galement tre utilis pour djouer certaines des dfenses intgres loutil. Les demandes qui seraient gnralement refuses dans l’interface ChatGPT ont t acceptes. Ils ne disposent pas des protections sur les donnes affines , a dclar Zhu. Il est trs important pour nous que le rglage fin de nos modles soit scuris , a dclar un porte-parole d’OpenAI en rponse une demande de commentaires. Nous entranons nos modles rejeter les demandes d’informations prives ou sensibles sur les personnes, mme si ces informations sont disponibles sur Internet ouvert . La vulnrabilit est particulirement proccupante car personne l’exception d’un nombre limit d’employs d’OpenAI ne sait vraiment ce qui se cache dans la mmoire des donnes de formation de ChatGPT.
Un autre article publi le mme jour contenait des avertissements plus larges ce sujet
Steven Weber, un professeur l’cole d’information de l’Universit de Californie Berkeley affirme que Microsoft pourrait construire un silo d’IA dans un jardin clos, et qualifie ce dveloppement de prjudiciable au dveloppement technologique, coteux et potentiellement dommageable pour la socit et l’conomie .
Weber affirme que Microsoft a profit de la crise de gouvernance chez OpenAI pour renforcer sa vision de faonner et de contrler le march de lIA. Il soutient que Microsoft a investi massivement dans OpenAI, notamment sous la forme de crdits cloud, pour lier le dveloppement des modles dOpenAI son architecture cloud Azure. Il craint que cette stratgie ne conduise la cration dun jardin clos dIA, o les technologies les plus avances et les plus imprvisibles seraient enfermes dans des silos, au dtriment de linnovation, de la socit et de lconomie. Il appelle une rgulation plus forte et plus transparente de lIA, ainsi qu une plus grande collaboration entre les diffrents acteurs du domaine.
Plus tt cette anne, Microsoft a scell sa relation avec OpenAI avec un autre investissement majeur cette fois environ 10 milliards de dollars, dont une fois de plus une grande partie sous la forme de crdits cloud plutt que de financement conventionnel. En change, OpenAI a accept dexcuter et dalimenter son IA exclusivement via le cloud Azure de Microsoft et a accord Microsoft certains droits sur sa proprit intellectuelle.
Ce qui nous amne au rcent tumulte dOpenAI, dont le conseil dadministration a tent mais na finalement pas russi rvoquer le PDG Sam Altman en novembre. Aprs que le conseil d’administration d’OpenAI a annonc le licenciement d’Altman, le PDG de Microsoft, Satya Nadella, a tweet qu’Altman et ses collgues rejoindraient Microsoft pour diriger une nouvelle quipe de recherche avance sur l’IA pour l’entreprise. Mais peine 12 jours plus tard, Altman tait de retour en tant que PDG dOpenAI et Microsoft avait obtenu un sige sans droit de vote au conseil dadministration dOpenAI.
Cela aurait pu tre le meilleur rsultat possible pour Microsoft : il nest dsormais plus ncessaire pour lentreprise d’acqurir OpenAI en recrutant son personnel et de solliciter lexamen minutieux de la politique de concurrence quun tel dveloppement aurait presque certainement impliqu.
Pour Microsoft, la crise dOpenAI sest produite face, je gagne, face, tu perds .
Des rapports rcents selon lesquels les autorits britanniques de la concurrence et la Federal Trade Commission (FTC) examinent de prs linvestissement de Microsoft dans OpenAI sont encourageants. Mais lincapacit de Microsoft dclarer ces investissements pour ce quils sont une acquisition de facto dmontre que lentreprise est parfaitement consciente des enjeux et a profit du statut juridique quelque peu particulier dOpenAI en tant quentit but non lucratif pour contourner les rgles.
Lhistoire a une analogie utile. Au dbut des annes 1990, la communaut technologique craignait profondment quInternet ne soit segment en silos Microsoft Explorer Web, Netscape Web et autres et que les consommateurs, les entreprises et les dveloppeurs de technologies soient obligs de choisir o ils veulent tre. Heureusement, nous avons vit ce monde sous-optimal et fragment grce une combinaison de politiques gouvernementales et de protocoles ouverts sous-jacents qui rgissent le Web.
Imaginez quel point il aurait t difficile de rparer lcosystme et de restaurer linteroprabilit dun World Wide Web unique si lhistoire avait t diffrente et si les gouvernements avaient simplement attendu et espr le meilleur face une technologie en volution rapide.
Ce n’est pas le premier problme de confidentialit rencontr par ChatGPT
En mars, OpenAI a confirm qu’un problme de confidentialit avait brivement entran la fuite de l’historique des conversations d’utilisateurs alatoires par ChatGPT. Pour rappel, ChatGPT archive et affiche la liste de vos conversations passes, vous donnant ainsi un historique de toutes vos saisies de texte avec le programme. Dans la matine du lundi 20 mars 2023, certaines personnes ont commenc signaler que la fonction d’historique des conversations affichait des chats antrieurs inconnus semblant provenir d’autres personnes. Des dizaines de captures d’cran montrant le problme ont t publies sur les rseaux sociaux.
ChatGPT a galement connu une panne le mme jour. Tout portait croire qu’OpenAI a t contrainte de mettre hors ligne ChatGPT pour une maintenance d’urgence. Dans un premier temps, OpenAI est reste muette sur la situation, mais mercredi, Altman a finalement confirm que l’exposition des donnes tait relle. Il a tweet mercredi : un petit pourcentage d’utilisateurs a pu voir les titres de l’historique des conversations d’autres utilisateurs. Nous nous sentons trs mal l’aise ce sujet . Les utilisateurs pensaient que le problme de confidentialit avait t caus par un piratage, mais le PDG d’OpenAI a affirm dans ses tweets qu’il n’en est rien.
Un dfaut dans le client Redis, nomm redis-py, a cr un problme de cache qui a permis aux utilisateurs de voir les donnes dautres comptes.
OpenAI a pris ChatGPT hors ligne le 21 mars 2023 pour enquter sur la vulnrabilit, rendant le chatbot inaccessible pendant plus dune heure et sa fonctionnalit dhistorique des conversations hors ligne pendant la majeure partie de la journe. Des investigations plus approfondies ont rvl que le problme avait galement expos les informations de paiement des utilisateurs.
Durant une fentre de neuf heures le 20 mars 2023 [en heure du Pacifique], un autre utilisateur de ChatGPT a pu voir par inadvertance vos informations de facturation en cliquant sur sa propre page Grer labonnement , a indiqu une notification aux clients concerns. Dans les heures prcdant la mise hors ligne de ChatGPT lundi, il tait possible pour certains utilisateurs de voir le prnom et le nom, ladresse e-mail, ladresse de paiement, les quatre derniers chiffres (seulement) dun numro de carte de crdit et la date dexpiration de la carte de crdit dun autre utilisateur actif , a ajout OpenAI.
Lentreprise a prcis que la visibilit involontaire des donnes lies au paiement avait pu affecter 1,2 % des abonns ChatGPT Plus qui taient actifs durant la fentre de neuf heures, et a soulign quaucun numro de carte de crdit complet navait t expos aucun moment.
Sources : NYT, tribune du professeur Steven Weber
Et vous ?
Quels sont les avantages et les inconvnients de la collaboration entre Microsoft et OpenAI ?
Comment garantir que les modles dIA les plus puissants soient accessibles et bnfiques tous, et non pas rservs quelques acteurs privs ?
Que pensez-vous de la faille de scurit de ChatGPT ? Avez-vous t affect par cette fuite de donnes ?
Faites-vous confiance aux chatbots et lIA pour grer vos informations personnelles ? Quelles sont les mesures que vous prenez pour protger votre vie prive en ligne ?
Quels sont les avantages et les inconvnients de lutilisation des chatbots et de lIA dans diffrents domaines ? Quelles sont les applications de lIA qui vous intressent le plus ?
Quels sont les risques de crer des silos dIA ? Comment viter ou rduire ces risques ? Quel rle les utilisateurs, les dveloppeurs et les rgulateurs peuvent-ils jouer pour assurer la scurit et lthique de lIA ?
Quelles sont les normes communes pour lIA que vous souhaiteriez voir tablies ? Quels sont les principes ou les valeurs qui devraient guider le dveloppement et lutilisation de lIA ?