Des chercheurs ont mis au point une attaque par canal auxiliaire qui permet de dchiffrer les rponses des assistants d’IA avec une grande prcision. Tous les chatbots d’IA populaires seraient vulnrables cet exploit, l’exception de Google Gemini. Le rapport indique qu’un adversaire passif au milieu, c’est–dire un attaquant qui peut surveiller les paquets de donnes passant entre un assistant d’IA et l’utilisateur, peut dduire le sujet spcifique de 55 % de toutes les rponses captures. L’attaque peut dduire des rponses avec une prcision parfaite des mots dans 29 % des cas. Une autre tude met en lumire des failles de scurit critiques dans les plug-ins ChatGPT.
Les chabots peuvent divulguer vos secrets aux pirates malgr le chiffrement
Les chatbots d’IA sont devenus trs populaires auprs du grand public depuis le lancement canon de ChatGPT. Les gens les interrogent sur des sujets sensibles comme les maladies, la grossesse, l’interruption ou la prvention de la grossesse, les consultent lorsqu’ils envisagent de divorcer, cherchent des informations sur la toxicomanie ou demandent des modifications dans des courriels contenant des secrets commerciaux exclusifs. Les fournisseurs de ces services d’IA sont parfaitement conscients du caractre hautement sensible de ces conversations et prennent des mesures actives, notamment sous la forme d’un chiffrement.
Cette mesure vise essentiellement empcher les espions potentiels de lire les interactions d’autres personnes. Toutefois, le chiffrement est loin d’tre efficace. Des recherches menes par des chercheurs de l’quipe « Offensive AI Research Lab » de l’universit Ben-Gurion en Isral concluent que les pirates peuvent lire les conversations prives avec les assistants d’IA mme lorsqu’elles sont chiffres. Les chercheurs ont mis au point une attaque qui permet de dchiffrer les rponses des assistants d’IA avec une prcision surprenante. Selon le rapport, l’exploit affecte tous les principaux chatbots, l’exception de Google Gemini.
La technique exploite un canal auxiliaire prsent dans tous les chatbots affects. Elle affine ensuite les rsultats relativement bruts l’aide de grands modles de langage spcialement forms pour cette tche. Le rsultat parat surprenant bien des gards : un adversaire passif au milieu, c’est–dire un adversaire qui peut surveiller les paquets de donnes passant entre un assistant d’IA et l’utilisateur, peut dduire le sujet spcifique de 55 % de toutes les rponses captures, gnralement avec une grande prcision dans les mots. Cette attaque peut dduire des rponses avec une prcision parfaite des mots dans 29 % des cas.
Yisroel Mirsky, directeur de la division Offensive AI Research Lab, a dclar : actuellement, n’importe qui peut lire les conversations prives envoyes par ChatGPT et d’autres services. Il peut s’agir d’acteurs malveillants prsents sur le mme rseau Wi-Fi ou LAN qu’un client (par exemple, dans le mme caf), ou mme d’un acteur malveillant sur Internet, c’est–dire toute personne capable d’observer le trafic. L’attaque est passive et peut se produire l’insu d’OpenAI ou de ses clients . Selon Mirsky, la manire dont OpenAI chiffre le trafic de ChatGPT est dfectueuse et n’empche donc pas ce type d’attaques d’coute.
Mirsky explique : OpenAI chiffre son trafic pour empcher ce type d’attaques d’coute, mais nos recherches montrent que la faon dont OpenAI utilise le chiffrement est dfectueuse, et que le contenu des messages est donc expos . Mirsky faisait rfrence OpenAI, mais l’exception de Google Gemini, tous les autres principaux chatbots sont galement vulnrables.
Comment les chercheurs ont mis au point leur attaque par canal auxiliaire
Une attaque par canal auxiliaire est un moyen d’obtenir des informations secrtes d’un systme par le biais de sources indirectes ou involontaires, comme des manifestations physiques ou des caractristiques comportementales, comme l’nergie consomme, le temps ncessaire ou le son, la lumire ou le rayonnement lectromagntique produit au cours d’une opration donne. En surveillant attentivement ces sources, les attaquants peuvent rassembler assez d’informations pour rcuprer les frappes ou les cls de chiffrement des processeurs, les cookies du navigateur du trafic HTTPS ou les secrets des cartes puce.
Le canal auxiliaire dans l’attaque de l’quipe rside dans les jetons que les chabots utilisent lorsqu’ils rpondent une requte de l’utilisateur. Les jetons s’apparentent des mots qui sont cods de manire pouvoir tre compris par les modles. Selon les chercheurs, pour amliorer l’exprience de l’utilisateur, la plupart des assistants d’IA envoient les jetons la vole, ds qu’ils sont gnrs, de sorte que les utilisateurs finaux reoivent les rponses en continu, mot par mot, au fur et mesure qu’elles sont gnres, plutt qu’en une seule fois, beaucoup plus tard, une fois que l’assistant d’IA a gnr la rponse complte.
Cependant, bien que la livraison des jetons soit chiffre, la transmission en temps rel, jeton par jeton, expose un canal auxiliaire jusqu’alors inconnu, que les chercheurs appellent « la squence de longueur de jeton ». Dans un premier temps, l’attaque analyse la taille de chaque jeton, qui est la mme sous forme chiffre et en clair. La longueur du jeton correspond presque directement la longueur de la chane de caractres qu’il reprsente. Par la suite, l’attaque analyse la squence de chaque longueur de jeton pour obtenir toutes les phrases ou expressions potentielles que les mots, dans cet ordre, pourraient composer.
Avec des millions de possibilits pour une seule phrase et des ordres de grandeur plus importants pour un paragraphe entier, le rsultat de ce canal auxiliaire est au mieux brut. Pour affiner ce rsultat, Mirsky et ses coquipiers (Roy Weiss, Daniel Ayzenshtyen et Guy Amit) ont mis au point ce qu’ils appellent une attaque par infrence de jetons. Elle consiste faire passer les donnes brutes renvoyes par le canal auxiliaire par deux modles d’IA soigneusement entrans. Mirsky note : c’est comme essayer de rsoudre une nigme dans la Roue de la Fortune, mais dans le cas actuel, il ne s’agit pas d’une simple phrase .
Il s’agit d’un paragraphe entier de phrases et aucun des caractres n’a t rvl. Toutefois, les modles d’IA sont trs dous pour tudier les schmas long terme et peuvent rsoudre ces nigmes avec une prcision remarquable si l’on dispose d’un nombre suffisant d’exemples tirs d’autres jeux , explique Mirsky. tant donn que les chatbots dialoguent avec un style distinct et rptent certaines phrases, il est possible d’identifier des schmas dans la squence de jetons et de dchiffrer ainsi l’ensemble du texte en fonction du contexte. Selon l’quipe de recherche, cela s’apparente une attaque par texte connu.
L’quipe a dcouvert qu’il tait possible d’apprendre aux modles effectuer cette attaque en les entranant traduire des squences de jetons en texte l’aide d’exemples de chats disponibles sur Internet. tant donn que la premire phrase de la rponse d’une IA a tendance tre plus stylistique et prvisible que les suivantes, les chercheurs ont affin leurs rsultats en utilisant un LLM spcialis dans la dduction de la premire phrase d’une rponse et un autre optimis pour dduire les phrases intrieures en fonction du contexte des phrases prcdentes.
Gemini de Google chappe l’attaque par canal auxiliaire des chercheurs
l’exception de Google Gemini, tous les grands modles de langage bass sur le chat largement disponible transmettent les jetons immdiatement aprs les avoir gnrs, en grande partie parce que les modles sont lents et que les fournisseurs ne veulent pas que les utilisateurs attendent que l’ensemble du message ait t gnr avant d’envoyer du texte. Cette conception en temps rel joue un rle cl dans la cration du canal auxiliaire. tant donn qu’un jeton est envoy individuellement – un la fois – les adversaires dots d’une capacit AitM passive peuvent mesurer leur longueur, quel que soit le chiffrement.
Par exemple, lorsque l’assistant d’IA envoie le texte « Vous devriez consulter un mdecin » sous forme de jetons individuels, il transmet un paquet distinct pour chacun de ces mots. La taille de la charge utile de chacun de ces paquets sera de 3, 6, 3, 1, 6 (plus quelques frais gnraux statiques qui peuvent tre filtrs). Mme si un attaquant n’a aucune ide des caractres contenus dans le message, il connat la longueur de chaque mot et l’ordre de ces mots dans une phrase. Cet exemple est une simplification, car, dans le domaine des grands modles de langage, les jetons ne sont pas toujours des mots proprement parler.
En revanche, lorsqu’un chabot envoie tous les jetons ensemble, l’attaquant ne voit qu’un seul paquet dont la taille de la charge utile est de 19. Dans ce cas, il ne sait pas si le paquet comprend un seul mot de 19 caractres ou plusieurs mots de 19 lettres au total. Selon les chercheurs, ce mme principe explique pourquoi l’attaque n’est pas en mesure de lire les messages-guides que les utilisateurs envoient aux chatbots. Les jetons contenus dans les messages-guides ne sont pas envoys au coup par coup ; les messages-guides sont envoys par lots importants chaque fois que l’utilisateur appuie sur la touche « Entre ».
Le tableau ci-dessus, appel tableau 1 dans le rapport de l’tude, dcompose les chatbots de diffrents fournisseurs d’IA pour montrer lesquels taient, ou restent, vulnrables l’attaque. Dans le rapport de l’tude, le groupe de recherche explique :
Dans un contexte de communication en temps rel, les services d’IA transmettent le prochain jeton ri immdiatement aprs qu’il a t gnr. Nos observations de plusieurs services d’assistants d’IA (rfrencs dans le tableau 1) indiquent que le jeton ri est envoy soit en tant que message individuel, soit en tant que partie d’un message cumulatif (par exemple, [r1,r2,…,ri]). Dans les deux cas, la longueur de la charge utile du paquet est directement lie au nombre de caractres contenus dans ri.
Dans le cas des messages cumulatifs, la longueur de chaque jeton peut tre dduite en calculant la diffrence de longueur de la charge utile entre les paquets successifs. Par consquent, pour chaque message de rponse, il est possible de discerner la longueur de chaque jeton, mme lorsque le trafic est chiffr. La squence de longueur des jetons d’une rponse est note T = [t1,t2,…,tn], o ti reprsente la longueur du jeton ri. La relation entre le jeton ri et sa longueur ti peut tre exprime par ti = |ri|, la valeur absolue du nombre de caractres dans ri.
Cette squence de longueur de jeton L peut tre exploite pour dduire les jetons originaux, ce qui permet de violer la confidentialit de la conversation en rvlant chaque rponse de l’IA. Ces rponses peuvent galement tre utilises pour dduire les invites elles-mmes, soit indirectement grce au contexte, soit directement dans les cas o l’IA rpte la question avant de poursuivre.
Nous avons constat que cette attaque est extrmement efficace pour dchiffrer les rponses aux questions courantes que les gens posent leurs assistants (par exemple, histoire, conseils), mais qu’elle a du mal dchiffrer un contenu arbitraire (par exemple, rsoudre un puzzle) , note Mirsky. Les chercheurs ont fait deux propositions pour attnuer l’efficacit de leur attaque. La premire consiste suivre l’exemple de Google et cesser d’envoyer les jetons un par un.
L’autre consiste appliquer le « padding », une technique qui consiste ajouter des espaces alatoires aux paquets afin qu’ils aient tous une longueur fixe gale au plus grand paquet possible. Ces deux approches risquent de nuire l’exprience utilisateur du chatbot. L’envoi de jetons par lots importants peut entraner des retards et rendre le flux de donnes saccad. L’ajout de paquets augmente le volume de trafic envoy dans chaque rponse.
Les plug-ins de ChatGPT comportent plusieurs failles de scurit critiques
Parmi tous les chatbots vulnrables l’attaque, ceux d’OpenAI et de Cloudflare ont mis en uvre des mesures d’attnuation au cours des dernires 48 heures. Microsoft a publi une dclaration faisant tat de l’exigence de l’AitM (Adversary in the Middle). Il a ajout : il est peu probable que des dtails spcifiques tels que les noms soient prdits. Nous nous engageons protger nos clients contre ces attaques potentielles et nous allons y remdier par une mise jour . L’on ignore si des acteurs de la menace ont pu dtecter et exploiter cette vulnrabilit critique affectant les principaux chabots, l’exception de Gemini.
Par ailleurs, une tude de Salt Labs sur les menaces a mis au jour des failles de scurit critiques dans les plug-ins ChatGPT, mettant en vidence un nouveau risque pour les entreprises. Ces failles de scurit introduisent un nouveau vecteur d’attaque et pourraient permettre des acteurs malveillants de prendre le contrle du compte d’une organisation sur des sites Web tiers, ou d’accder des informations personnelles identifiables (PII) et d’autres types de donnes sensibles stockes dans des applications tierces. L’quipe de Salt Labs a dcouvert trois types diffrents de vulnrabilits dans les plug-ins ChatGPT.
La premire exploite le processus d’approbation du code de ChatGPT pour permettre aux attaquants d’installer un plug-in malveillant donnant accs au compte de l’utilisateur. La seconde se trouve dans PluginLab, un framework que les dveloppeurs et les entreprises utilisent pour dvelopper des plug-ins pour ChatGPT. Les chercheurs ont dcouvert que PluginLab n’authentifiait pas correctement les comptes d’utilisateurs, ce qui permettrait un attaquant potentiel d’insrer un autre identifiant d’utilisateur et d’obtenir un code reprsentant la victime, ce qui pourrait conduire la prise de contrle du compte sur le plug-in.
La troisime vulnrabilit, dcouverte dans plusieurs plug-ins, est la manipulation de la redirection OAuth (Open Authorization). Plusieurs plug-ins ne valident pas les URL, ce qui signifie qu’un attaquant peut insrer une URL malveillante et voler les informations d’identification de l’utilisateur. Aprs avoir dcouvert les vulnrabilits, les chercheurs de Salt Labs ont suivi des pratiques de divulgation coordonnes avec OpenAI et les fournisseurs tiers. Tous les problmes ont t rapidement rsolus et rien n’indique que ces failles aient t exploites dans la nature.
Les outils d’IA gnrative tels que ChatGPT ont rapidement capt l’attention de millions de personnes travers le monde, car ils ont le potentiel d’amliorer considrablement l’efficacit des oprations commerciales et de la vie quotidienne. Alors que de plus en plus d’organisations tirent parti de ce type de technologie, les attaquants rorientent eux aussi leurs efforts, trouvant des moyens d’exploiter ces outils et d’accder par la suite des donnes sensibles , dclare Yaniv Balmas, vice-prsident de la recherche chez Salt Security.
Nos rcentes dcouvertes de vulnrabilits dans ChatGPT illustrent l’importance de protger les plug-ins de ce type de technologie pour s’assurer que les attaquants ne puissent pas accder aux actifs critiques de l’entreprise et excuter des prises de contrle de comptes .
Sources : Offensive AI Research Lab (PDF), Salt Labs, Cloudflare,
Et vous ?
Quel est votre avis sur le sujet ?
Que pensez-vous de l’attaque par canal auxiliaire affectant les principaux chatbots d’IA ?
L’approche de Google avec Gemini suggre-t-elle que l’entreprise a anticip cette forme d’attaque ?
Que pensez-vous des failles de scurit critiques introduites par les plug-ins de ChatGPT pour les utilisateurs ?
Voir aussi