Une rcente tude met en lumire l’utilisation malveillante des identifiants cloud vols pour alimenter des services de chat sexuels assists par l’IA. Des chercheurs de Permiso Security ont observ une augmentation des attaques sur des infrastructures d’IA comme Bedrock d’Amazon, particulirement aprs que des identifiants aient t exposs en ligne. Ils ont test cette vulnrabilit en publiant une cl AWS, qui a rapidement t exploite pour gnrer des interactions de chat caractre sexuel, incluant des contenus illgaux tels que l’exploitation sexuelle d’enfants.
Amazon Bedrock est un service entirement gr qui offre une large gamme de modles de fondation dvelopps par des entreprises d’IA telles qu’AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI et Amazon, le tout via une seule API. Ce service fournit galement une multitude de fonctionnalits essentielles pour crer des applications d’IA gnrative. Avec Amazon Bedrock, il est possible de concevoir des agents capables d’effectuer des tches en utilisant les systmes d’entreprise et les sources de donnes. tant un service sans serveur, les utilisateurs n’ont pas besoin de grer d’infrastructure, ce qui leur permet d’intgrer et de dployer en toute scurit des fonctionnalits d’IA gnrative dans leurs applications en utilisant les services AWS.
Dans le cadre d’une enqute sur l’utilisation abusive des comptes AWS de plusieurs organisations, la socit Permiso Security a rvl que des cybercriminels avaient exploit des identifiants AWS vols pour accder aux grands modles de langage (LLM) disponibles sur Bedrock. Les chercheurs ont constat que ces utilisateurs n’avaient pas activ la journalisation complte de l’activit LLM, ce qui leur a fait perdre toute visibilit sur les actions des cybercriminels.
Les cybercriminels, accdant aux modles de langage d’Amazon, contournent les protections en utilisant des techniques de jailbreak. Bien que Bedrock inclue des garde-fous thiques, les cybercriminels trouvent des moyens de contourner ces restrictions. Les recherches ont montr que la majorit des interactions taient caractre sexuel, avec des implications inquitantes concernant la scurit et l’thique.
Pour mieux comprendre l’ampleur de l’abus, les chercheurs de Permiso ont dcid de publier leur propre cl AWS de test sur GitHub, tout en activant la journalisation. En quelques minutes, cette cl a t rcupre et utilise par un service de chat sexuel aliment par l’IA. Aprs analyse des interactions, il est apparu que l’attaquant exploitait un service de jeu de rle d’IA. La majorit des scnarios de jeu de rle taient sexuels, certains abordant des sujets trs sensibles, comme les abus sexuels sur les enfants. En seulement deux jours, plus de 75 000 requtes de modles avaient t effectues, presque toutes caractre sexuel.
Ian Ahl, vice-prsident senior de la recherche sur les menaces chez Permiso, a expliqu que les cybercriminels utilisant un compte cloud exploitent gnralement cet accs pour des activits comme le minage de cryptomonnaie. Toutefois, au cours des six derniers mois, Bedrock est devenu l’une des cibles les plus prises des cybercriminels.
Selon Ahl, ces derniers hbergent des services de chat payants, ne souhaitant pas couvrir les cots des invites gnres par leurs abonns, ce qui les pousse dtourner l’infrastructure d’autres utilisateurs. Bien qu’une partie des conversations soit innocente, un certain pourcentage est li des contenus illgaux, tels que des fantasmes d’agression sexuelle. Bedrock utilise des modles de langage d’Anthropic qui comportent des restrictions thiques, mais les cybercriminels parviennent contourner ces garde-fous en formulant des scnarios hypothtiques.
En juin 2024, Sysdig a galement signal une attaque similaire, o des attaquants avaient vol des identifiants dans le cloud pour cibler plusieurs LLM, vendant l’accs d’autres criminels tout en engendrant des cots astronomiques pour les propritaires de comptes. Ahl a exprim des doutes quant l’identit des responsables de ces activits, mais a not que Permiso souponne un lien avec une plateforme nomme chub[.]ai , qui propose divers personnages IA pour des conversations. Les noms de ces personnages taient souvent retrouvs dans les messages collects par Permiso.
Chub offre une inscription gratuite sur son site web ou via une application mobile. Aprs quelques minutes d’changes avec leurs personnages IA, les utilisateurs sont invits s’abonner. La page d’accueil affiche une bannire indiquant : Banni d’OpenAI ? Accdez des alternatives non censures pour seulement 5 dollars par mois.
Jusqu’ rcemment, Chub proposait une vaste slection de personnages dans une catgorie nomme NSFL (Not Safe for Life), qui dsigne des contenus drangeants. Dans un article de janvier 2024, Fortune a dcrit Chub AI comme un bordel virtuel, avec des reprsentations de femmes en robes bretelles spaghetti, promettant un monde sans fminisme o les filles offrent des services sexuels . Chub AI propose plus de 500 scnarios de ce type, et de nombreux autres sites permettent des jeux de rle pdopornographiques aliments par l’IA. Ces services s’inscrivent dans une conomie plus large d’IA non censure, stimule d’abord par OpenAI et ensuite par la publication de l’outil open-source Llama par Meta.
Le service est dirig par une personne utilisant le pseudonyme Lore , qui a dclar avoir cr Chub pour permettre aux utilisateurs d’chapper aux restrictions de contenu des plateformes d’IA. Chub facture des frais partir de 5 dollars par mois pour accder ses nouveaux chatbots, et son fondateur a rvl que le site avait gnr plus d’un million de dollars de revenus annuels.
De son ct, AWS a prcis que lorsqu’une paire de cls ou des identifiants sont signals comme exposs, des restrictions sont mises en place pour limiter les abus potentiels. Ces identifiants ne peuvent pas tre utiliss pour crer ou modifier des comptes ou de nouvelles ressources dans le cloud. Ahl a mentionn que Permiso avait reu plusieurs alertes d’AWS concernant leur cl expose, y compris un avertissement indiquant que leur compte pourrait avoir t utilis par une partie non autorise. Cependant, les restrictions imposes par AWS n’ont pas empch les cybercriminels de tirer parti de cette cl pour abuser des services de Bedrock.
L’utilisation malveillante de l’IA appelle une rflexion urgente sur la responsabilit des entreprises
Ltude rvle par Permiso Security met en lumire une problmatique proccupante lie la scurit des infrastructures cloud et lutilisation malveillante de lIA. L’exploitation d’identifiants AWS vols pour alimenter des services de chat sexuels assists par l’IA soulve des questions cruciales sur la responsabilit des entreprises technologiques, la protection des utilisateurs et l’impact socital de telles drives.
D’abord, la vulnrabilit des systmes cloud est mise en exergue. Les chercheurs ont pu dmontrer, par leur propre exprience, quel point il est facile pour des cybercriminels d’exploiter des cls exposes. Cette situation est d’autant plus alarmante que la plupart des utilisateurs semblent ignorer les options de journalisation qui permettraient de suivre les activits de leurs comptes. Cela indique une lacune non seulement dans la sensibilisation des utilisateurs, mais aussi dans les mesures de scurit que les entreprises devraient promouvoir.
Ensuite, le contournement des garde-fous thiques par des techniques de jailbreak met en vidence les limites des protections actuellement mises en place dans des systmes comme Bedrock. Malgr les efforts des dveloppeurs pour intgrer des garde-fous, il semble que les cybercriminels trouvent rapidement des moyens d’en abuser. Cela soulve des interrogations sur lefficacit des mesures de scurit dans un contexte o les technologies voluent rapidement.
Les implications thiques de cette situation sont galement proccupantes. L’utilisation des LLM pour gnrer des contenus sexuels, y compris ceux portant sur l’exploitation d’enfants, est non seulement inacceptable mais pose un vritable dfi la socit. La facilit avec laquelle ces outils peuvent tre dtourns met en lumire la ncessit d’une rglementation plus stricte et d’une surveillance accrue des technologies d’IA, pour prvenir de telles drives.
En somme, cette tude souligne l’urgence de renforcer la scurit des systmes cloud, d’amliorer la sensibilisation des utilisateurs et de repenser les mcanismes de protection des contenus gnrs par l’IA. Les entreprises doivent non seulement tre tenues responsables de la scurisation de leurs infrastructures, mais elles doivent galement participer une discussion plus large sur l’thique et la scurit des technologies d’IA. Cela ncessite une collaboration entre les dveloppeurs, les rgulateurs et les utilisateurs pour crer un environnement numrique plus sr et responsable.
Sources : Permiso Security, Sysdig
Et vous ?
Quel est votre avis sur le sujet ?
Quelles mesures de scurit devraient tre mises en place pour prvenir le vol d’identifiants cloud et leur utilisation malveillante ?
Dans quelle mesure les entreprises technologiques sont-elles responsables de la scurit de leurs infrastructures et de la protection des donnes de leurs utilisateurs ?
Voir aussi :