Des chercheurs ont dvelopp un ver d’IA gnrative, baptis Morris II, capable de se propager d’un systme l’autre. Cette avance soulve des inquitudes quant la scurit des cosystmes d’IA connects. Le ver peut potentiellement voler des donnes et dployer des logiciels malveillants en exploitant des failles dans des systmes d’IA gnrative tels que ChatGPT d’OpenAI et Gemini de Google. Les chercheurs ont dmontr comment le ver peut attaquer un assistant de messagerie IA gnratif en utilisant des invites adverses auto-reproductibles, similaire des attaques traditionnelles par injection.
Bien que les tests aient t raliss dans des environnements contrls, les experts mettent en garde contre le risque futur de vers d’IA gnratifs, soulignant la ncessit de mesures de scurit renforces pour prvenir de telles attaques. Les crateurs d’IA gnrative peuvent se dfendre en adoptant des approches de scurit traditionnelles et en maintenant une surveillance humaine pour viter des actions non approuves par les agents d’IA. Les chercheurs estiment que les vers d’IA gnrative pourraient apparatre dans la nature d’ici deux trois ans, mettant en lumire les dfis de scurisation des cosystmes d’IA en constante volution.
Au cours de l’anne coule, de nombreuses entreprises ont intgr des capacits d’IA gnrative (GenAI) dans des applications nouvelles et existantes, formant des cosystmes d’IA gnrative interconnects composs d’agents semi-autonomes/entirement autonomes aliments par des services d’IA gnrative. Alors que les recherches en cours ont mis en vidence les risques associs la couche d’agents GenAI (par exemple, interfrence dans le dialogue, la fuite de la vie prive, le jailbreaking), une question cruciale se pose : Les cybercriminels peuvent-ils dvelopper des logiciels malveillants pour exploiter la composante GenAI d’un agent et lancer des cyberattaques sur l’ensemble de l’cosystme d’IA gnrative ?
Morris II est le premier ver conu pour cibler les cosystmes d’IA gnrative grce l’utilisation d’invites adverses qui se rpliquent d’elles-mmes. L’tude dmontre que les cybercriminels peuvent insrer de telles invites dans des entres qui, lorsqu’elles sont traites par des modles d’IA gnrative, incitent le modle reproduire l’entre en sortie (rplication) et s’engager dans des activits malveillantes (charge utile).
En outre, ces entres obligent l’agent les transmettre (propagation) de nouveaux agents en exploitant la connectivit au sein de l’cosystme d’IA gnrative. Les chercheurs dmontrent l’application de Morris II contre les assistants de messagerie aliments par l’IA gnrative dans deux cas d’utilisation (spamming et exfiltration de donnes personnelles), dans deux contextes (accs bote noire et bote blanche), en utilisant deux types de donnes d’entre (texte et images). Le ver est test contre trois modles d’IA gnrative diffrents (Gemini Pro, ChatGPT 4.0 et LLaVA), et divers facteurs (par exemple, le taux de propagation, la rplication, l’activit malveillante) influenant les performances du ver sont valus.
L’intelligence artificielle gnrative constitue une avance rvolutionnaire dans le domaine de l’intelligence artificielle, caractrise par sa capacit gnrer de manire autonome un contenu original. Utilisant des mthodologies sophistiques d’apprentissage automatique, reposant souvent sur des rseaux neuronaux profonds, l’intelligence artificielle gnrativepeut traiter et produire diverses formes de contenu, y compris du texte, des images, du son et des vidos. Grce son potentiel polyvalent, l’intelligence artificielle gnrative s’est infiltre dans divers secteurs, notamment les arts cratifs, les chatbots et la finance.
Sa capacit crer des rsultats ralistes et adapts au contexte a incit les entreprises intgrer de manire transparente l’intelligence artificielle gnrative dans une srie de produits et de plateformes existants. Cette intgration vise automatiser la gnration de contenu, rduire les interactions inutiles avec l’utilisateur et rationaliser les tches complexes.
L’adoption gnralise de l’intelligence artificielle gnrative dans les produits tablis et mergents, tels que les chatbots les assistants virtuels, a donn naissance des cosystmes composs d’agents aliments par la GenAI. Ces applications semi-autonomes/entirement autonomes s’interfacent avec des services d’intelligence artificielle distants/locaux, acqurant ainsi des capacits ncessaires la comprhension du contexte et la prise de dcision avec une intervention minimale ou inexistante de l’utilisateur.
mesure que l’cosystme de l’intelligence artificielle continue d’voluer, il devient crucial de garantir la scurit des agents aliments par l’intelligence artificielle afin d’attnuer les risques potentiels et de garantir la scurit de l’utilisateur.
Morris II est un ver qui cible les cosystmes d’intelligence artificielle, se rplique en exploitant le service d’intelligence artificielle utilis par les cosystmes GenAI.
Aujourd’hui, dans une dmonstration des risques lis aux cosystmes d’IA connects et autonomes, un groupe de chercheurs a cr l’un des premiers vers d’IA gnratifs, qui peut se propager d’un systme l’autre et potentiellement voler des donnes ou dployer des logiciels malveillants au cours du processus. Cela signifie essentiellement que vous avez dsormais la capacit de mener ou d’excuter un nouveau type de cyberattaque qui n’a jamais t vu auparavant , explique Ben Nassi, un chercheur de Cornell Tech l’origine de la recherche.
Un ver GenAI bas sur la RAG cible les agents (applications) aliments par la GenAI qui exploitent la gnration augmente (RAG) pour amliorer les requtes envoyes au service GenAI en fournissant un contexte pertinent extrait de la base de donnes de la RAG. Lorsque la RAG est intgre aux requtes GenAI, elle lve la qualit des rponses gnres en enrichissant les requtes avec un contexte pertinent provenant de la base de donnes de la RAG. La rponse du service GenAI aux requtes bases sur la RAG offre gnralement trois avantages cls :
- elle fournit des rponses actualises ;
- elle rduit les inexactitudes et les taux d’hallucination ;
- elle facilite la production de contenu efficace et rentable, rduisant ainsi le nombre de requtes diriges vers le service GenAI.
Ces avantages ont conduit l’intgration gnralise de la RAG dans diverses applications alimentes par la GenAI, telles que les systmes de rponse aux questions, la cration de contenu personnalis, et l’aide la recherche.
Le ver GenAI bas sur le RAG se propage de c1 c2 c3
Les chercheurs introduisent un ver GenAI exploitant la RAG ciblant les assistants de messagerie aliments par GenAI quips d’une fonctionnalit de rponse automatique. Ces applications utilisent la RAG en conjonction avec une base de donnes active, o les nouveaux correspondants de l’utilisateur, qu’ils soient des courriels envoys ou reus, sont continuellement enregistrs dans la base de donnes du RAG.
Cette intgration frquente du RAG dans les assistants de messagerie, particulirement pour gnrer des rponses automatiques bases sur la GenAI pour les courriels entrants, prsente des avantages significatifs. Elle amliore la prcision et la personnalisation des rponses de l’utilisateur en prenant en compte les correspondants antrieurs. De plus, elle offre une solution auto-adaptative pour l’analyse des concepts, permettant au rsultat du modle GenAI de s’ajuster en fonction des nouveaux correspondants grce sa nature active.
Dans l’algorithme 1, les chercheurs fournissent un pseudo-code pour une application de courrier lectronique base sur la RAG, mettant l’accent sur le mcanisme de rponse automatique qui est la cible du ver GenAI. Dans notre scnario, le ver altre la base de donnes RAG en insrant une invite adverse dans un message, qui devient ainsi une composante des donnes stockes.
Morris II : Rplication, propagation et activit malveillante
Morris II vise les cosystmes de l’intelligence artificielle gnrative, c’est–dire les rseaux interconnects constitus d’agents aliments par l’intelligence artificielle gnrative qui s’interfacent avec des services GenAI pour traiter les donnes envoyes l’agent, et d’autres agents de l’cosystme aliments par la GenAI. Le service GenAI utilis par l’agent peut tre bas sur un modle local (c’est–dire que le modle GenAI est install sur le dispositif physique de l’agent) ou sur un modle distance (c’est–dire que le modle GenAI est install sur un serveur en cloud et que l’agent s’y connecte par l’intermdiaire d’une API). Les capacits de la GenAI sont dsormais intgres par l’industrie dans des applications nouvelles et existantes. L’interface intgre avec le modle GenAI distant/local a pour but de fournir l’agent des capacits d’IA avances ncessaires pour crer un environnement intelligent .
Nous notons qu’un ver est un type de logiciel malveillant qui : se rplique, se propage de nouveaux htes et ralise une activit malveillante en utilisant les ressources de l’hte. Comment les trois proprits, mentionnes ci-dessus sont satisfaites dans le cas de Morris II.
Rplication : la rplication de Morris II s’effectue par l’injection d’un prompt auto-reproducteur adverse dans l’entre (texte, image, audio) traite par le modle GenAI (c’est–dire en exploitant la couche GenAI de l’agent). Pour ce faire, des techniques d’injection d’invite dans l’entre envoye au service GenAI sont utiliss et le principe de l’auto-rplication de l’invite dans l’entre est appliqu.
Propagation : la propagation du ver se fait en exploitant la couche d’application et deux types de propagation diffrents sont prsents :
- La propagation base sur le RAG dans ce scnario est initie par le destinataire de nouveaux courriels. Ce processus dbute en altrant la base de donnes du RAG par l’envoi d’un courriel, incitant ainsi le RAG stocker ce courriel dans sa base de donnes. Dans cette situation, la propagation est conditionne la rcupration de la base de donnes en rponse au contenu du message reu par courrier lectronique. Les chercheurs ont caractris cette propagation comme passive ou paresseuse, car l’infection elle-mme ne dclenche pas la propagation. Celle-ci survient uniquement aprs la rception d’un nouveau courriel, une fois que la base de donnes du RAG a t pralablement altre ou infecte par un courriel antrieur ;
- Propagation base sur l’orientation du flux d’application – dans cette situation, la sortie du modle GenAI, pralablement influence par une entre labore par l’attaquant, est exploite pour dterminer l’action ultrieure de l’application alimente par GenAI. Afin de raliser cela, il est ncessaire de crer une entre spcifique qui, lorsqu’elle est traite par le modle GenAI, gnre la sortie requise capable de diriger le flux de l’application vers de nouveaux htes. Nous qualifions la propagation dans ce scnario d’active, car l’infection elle-mme dclenche immdiatement la propagation suivante. En d’autres termes, ds que l’infection se produit, la propagation est immdiatement enclenche.
Activit malveillante/charge utile
L’activit malveillante excute par le ver dpend troitement de l’utilisation de l’application ainsi que des autorisations octroyes par l’utilisateur cette application. Dans ce travail, les chercheurs se sont concentrs particulirement sur les assistants/applications de messagerie aliments par la GenAI. Dans ce contexte, l’activit malveillante peut se manifester par l’exfiltration de donnes sensibles/confidentielles des utilisateurs, la diffusion de propagande, et la cration de contenu toxique dans les courriels destins insulter les clients et consommateurs.
Cependant, ils anticipent que l’impact de l’activit malveillante dclenche par Morris II contre les agents aliments par la GenAI pourrait devenir plus srieux avec l’intgration des capacits de la GenAI dans les systmes d’exploitation, les smartphones, et les vhicules automobiles. Ces agents GenAI peuvent engendrer divers types de charges utiles graves telles que le ranongiciel, l’excution de code distance, et diffrents rsultats srieux sur les plans financier, oprationnel et scuritaire.
Proprit zro clic . Il est essentiel de noter que dans de nombreux cas, les donnes d’entre sont automatiquement transmises aux serveurs en cloud de la GenAI pour l’infrence par les applications, sans aucune implication de l’utilisateur. Le fait que les donnes d’entre envoyes par un attaquant et reues par l’application d’un utilisateur soient traites automatiquement par le modle GenAI signifie que l’attaquant n’a pas besoin d’inciter l’utilisateur cliquer sur une entre (par exemple, un hyperlien ou une pice jointe) pour que l’application intercepte et active la charge utile l’origine de l’activit malveillante. Ainsi, Morris II est considr comme un logiciel malveillant/une attaque sans clic, car l’activit malveillante est automatiquement dclenche sans ncessit d’un clic de l’utilisateur.
Source : Cornell Tech, ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications
Et vous ?
Quel est votre avis sur le sujet ?
Quels sont selon-vous les risques associs la cration de Morris ?
Quelles sont les implications potentielles de la propagation de ces vers d’IA d’un systme un autre ?
Voir aussi :