Les « deepfakes » politiques reprsentent l’utilisation abusive la plus populaire de l’IA, selon une tude mene par DeepMind de Google. L’tude dcrit les manires nfastes d’utiliser l’IA et souligne la ncessit d’une approche multiples facettes pour attnuer l’utilisation abusive de l’IA gnrative.
Les « deepfakes » sont dfinies comme des mdias synthtiques qui ont t manipuls numriquement pour remplacer de manire convaincante l’image d’une personne par celle d’une autre. Les deepfakes exploitent des outils et des techniques d’apprentissage automatique et d’intelligence artificielle. Elles ont suscit une grande attention en raison de leur utilisation dans la pornographie, la dsinformations, l’intimidation et les fraudes financires.
Une tude ralise par DeepMind, une socit de Google, dcrit les utilisations malveillantes les plus courantes de l’intelligence artificielle (IA). Les deepfakes gnrs par l’IA qui usurpent l’identit de politiciens et de clbrits sont bien plus rpandus que les efforts visant utiliser l’IA pour faciliter les cyberattaques. L’tude indique que la cration d’images, de vidos et de sons ralistes mais faux de personnes est presque deux fois plus frquente que l’utilisation abusive suivante des outils d’IA gnrative : la falsification d’informations l’aide d’outils textuels, tels que les chatbots, pour gnrer des informations errones publier en ligne.
L’analyse, ralise avec l’unit de recherche et de dveloppement du groupe de recherche Jigsaw, a rvl que l’objectif le plus courant des acteurs utilisant abusivement l’IA gnrative tait de faonner ou d’influencer l’opinion publique. Cela reprsentait 27 % des utilisations, ce qui alimente les craintes quant la manire dont les deepfakes pourraient influencer les lections l’chelle mondiale cette anne. Malgr les efforts dploys par les plateformes de mdias sociaux pour tiqueter ou supprimer ces contenus, le public pourrait ne pas reconnatre qu’il s’agit de faux, et la diffusion de ces contenus pourrait influencer les lecteurs.
L’utilisation abusive de l’IA gnrative : Taxonomie des tactiques et enseignements tirs de donnes relles
Les chercheurs prsentent l’tude :
L’intelligence artificielle gnrative et multimodale (GenAI) offre un potentiel de transformation dans tous les secteurs, mais son utilisation abusive prsente des risques importants. Des recherches antrieures ont mis en lumire le potentiel d’exploitation des systmes d’IA avancs des fins malveillantes. Cependant, nous ne comprenons pas encore concrtement comment les modles de GenAI sont spcifiquement exploits ou abuss dans la pratique, ni les tactiques employes pour infliger des dommages.
Dans cet article, nous prsentons une taxonomie des tactiques d’utilisation abusive de la GenAI, claire par la littrature acadmique existante et une analyse qualitative d’environ 200 incidents d’utilisation abusive observs et signals entre janvier 2023 et mars 2024. Grce cette analyse, nous mettons en lumire des modles cls et nouveaux d’utilisation abusive au cours de cette priode, y compris les motivations potentielles, les stratgies et la faon dont les attaquants exploitent et abusent des capacits du systme travers les modalits (par exemple, image, texte, audio, vido) dans la nature.
Classer les tactiques d’utilisation abusive de l’IA gnrative
L’intelligence artificielle gnrative et multimodale (GenAI) offre de nouvelles possibilits dans les industries et les domaines cratifs. Au cours de l’anne coule, les principaux laboratoires d’IA ont dvoil des modles qui dmontrent des capacits sophistiques dans toutes les tches : de la comprhension audiovisuelle complexe et du raisonnement mathmatique, la simulation raliste d’environnements rels. Ces systmes sont rapidement intgrs dans des secteurs critiques tels que les soins de sant, l’ducation et les services publics.
Pourtant, mesure que les capacits de la GenAI progressent, la prise de conscience du potentiel d’utilisation abusive de ces outils augmente, y compris les proccupations accrues concernant la scurit, la protection de la vie prive et la manipulation. Des recherches antrieures ont mis en lumire le potentiel d’exploitation des systmes d’IA avancs des fins malveillantes l’aide d’analyses prospectives et de scnarios hypothtiques, qui visent cartographier les risques thiques futurs de manire systmatique.
En complment de ces recherches, des initiatives telles que l’AI incidents monitor (AIM) de l’OCDE, le AI, Algorithmic, and Automation Incidents and Controversies repository (AIAAIC) et l’AI Incident Database enregistrent activement les incidents lis l’IA dans toutes les applications et trient les prjudices qui y sont associs. Si ces initiatives constituent une base solide pour cartographier les menaces lies l’IA, elles ont tendance avoir une porte gnrale et se concentrer sur l’identification des risques potentiels et des prjudices en aval.
En revanche, on n’en sait pas encore assez sur la manire dont les outils de la GenAI sont spcifiquement exploits et utiliss par diffrents acteurs, y compris sur les tactiques employes. La technologie elle-mme devenant de plus en plus sophistique et multimodale, il est essentiel de mieux comprendre comment elle se manifeste dans la pratique et travers les modalits.
C’est pourquoi l’tude prsente une taxonomie des tactiques d’utilisation abusive de la GenAI, fonde sur la littrature acadmique existante et sur une analyse qualitative de 200 rapports mdiatiques d’utilisation abusive et de dmonstrations d’abus des systmes de GenAI publis entre janvier 2023 et mars 2024. Sur la base de cette analyse, les chercheurs mettent ensuite en lumire des modles cls et nouveaux d’utilisation abusive de la GenAI au cours de cette priode, y compris les motivations potentielles, les stratgies et la faon dont les attaquants exploitent et abusent des capacits du systme travers les modalits (par exemple, l’image, le texte, l’audio, la vido) dans un environnement incontrl.
Augmentation des deepfakes politiques pour influencer l’opinion publique
Les rsultats montrent que :
- La manipulation de l’apparence humaine et la falsification des preuves sont les tactiques les plus rpandues dans les cas rels d’utilisation abusive. La plupart de ces tactiques ont t dployes dans l’intention manifeste d’influencer l’opinion publique, de permettre des activits frauduleuses ou de gnrer des profits.
- La majorit des cas d’utilisation abusive signals ne consistent pas en des utilisations ou des attaques technologiquement sophistiques des systmes de GenAI. Au contraire, on assiste principalement l’exploitation de capacits de la GenAI facilement accessibles et ncessitant un minimum d’expertise technique.
- La sophistication, la disponibilit et l’accessibilit accrues des outils de la GenAI semblent introduire de nouvelles formes d’utilisation abusive de niveau infrieur qui ne sont pas ouvertement malveillantes ni ne violent explicitement les conditions de service de ces outils, mais qui ont tout de mme des ramifications thiques proccupantes. Il s’agit notamment de l’mergence de nouvelles formes de communication des fins de sensibilisation politique, d’autopromotion et de plaidoyer, qui brouillent les frontires entre authenticit et tromperie.
Cette tude donne aux dcideurs politiques, aux quipes charges de la confiance et de la scurit, ainsi qu’aux chercheurs, une base de donnes sur le potentiel de nuisance de ces technologies dans le monde rel, qui peut clairer leur approche de la gouvernance de l’IA et des mesures d’attnuation. De plus, elle fournit une vue d’ensemble des menaces et des tactiques les plus importantes, et identifit les principales tactiques d’utilisation abusive travers les modalits.
Ces rsultats peuvent guider le dveloppement d’valuations de scurit et de stratgies d’essais contradictoires qui sont plus en phase avec l’volution rapide du paysage des menaces. Elles peuvent galement aider informer des attnuations et des interventions cibles avec la possibilit de mieux vacciner le public contre des stratgies d’utilisation abusive spcifiques l’avenir.
Les chercheurs commentent :
Notre analyse de l’utilisation abusive de la GenAI dans le monde rel met en vidence des schmas cls ayant des implications significatives pour les praticiens, les dcideurs et les chercheurs dans le domaine de la confiance et de la scurit. Nos donnes montrent que les outils de GenAI sont principalement exploits pour manipuler la ressemblance humaine (par le biais de l’usurpation d’identit, de la cration de marionnettes, de l’appropriation de la ressemblance et de la NCII) et pour falsifier des preuves.
La prvalence de ces tactiques peut tre due au fait que les sources de donnes humaines (images, audio, vido, etc.) abondent en ligne, ce qui rend relativement facile pour les acteurs de mauvaise foi d’introduire ces informations dans les systmes d’IA gnrative. Toutefois, il est galement possible que ces types d’abus attirent tout simplement plus l’attention des mdias que d’autres, en raison de leur vaste impact socital. Ces cas d’utilisation abusive visaient principalement faonner l’opinion publique, notamment par la diffamation et la manipulation des perceptions politiques, et faciliter les escroqueries, les fraudes et les schmas de montisation rapide.
GenAI faible cot, technique simple, accs facile : Risque d’innondation des deepfakes ?
Malgr les inquitudes largement rpandues concernant les utilisations hautement sophistiques et parraines par l’tat de la GenAI, les chercheurs constatent que la plupart des cas d’utilisation abusive de la GenAI ne sont pas des attaques sophistiques contre les systmes d’IA, mais exploitent facilement des capacits de la GenAI facilement accessibles et ncessitant un minimum d’expertise technique. De nombreuses tactiques marquantes, telles que les escroqueries par usurpation d’identit, la falsification et les personas synthtiques, sont antrieures l’invention de la GenAI et sont utilises depuis longtemps pour influencer l’cosystme de l’information et manipuler d’autres personnes.
Cependant, en donnant ces tactiques ancestrales une nouvelle puissance et en dmocratisant l’accs, la GenAI a modifi les cots et les incitations associs la manipulation de l’information, ce qui a conduit un large ventail de cas d’utilisation et un grand nombre d’individus impliqus dans ces activits. Comme le montrent les donnes, il s’agit aussi bien de personnalits politiques que de simples citoyens, et de personnes ne disposant pas d’un bagage technique important.
La disponibilit, l’accessibilit et l’hyperralisme des rsultats de la GenAI dans toutes les modalits ont galement permis de nouvelles formes d’utilisation abusive de niveau infrieur qui brouillent les frontires entre la prsentation authentique et la tromperie. Bien que ces utilisations de la GenAI, telles que la gnration et la rutilisation de contenu grande chelle et l’exploitation de la GenAI pour une communication politique personnalise, ne soient pas ouvertement malveillantes et ne violent pas explicitement les politiques de contenu ou les conditions de service de ces outils, leur potentiel de nuisance est important.
Par exemple, la culture de l’image politique et le plaidoyer aliments par la GenAI sans divulgation approprie sapent la confiance du public en rendant difficile la distinction entre les images authentiques et les images fabriques. De mme, la production en masse de contenus synthtiques de faible qualit, de type spam et malveillants risque d’accrotre le scepticisme des gens l’gard de l’information numrique dans son ensemble et de surcharger les utilisateurs de tches de vrification.
Si rien n’est fait, cette contamination des donnes accessibles au public par du contenu gnr par l’IA pourrait potentiellement entraver la recherche d’informations et fausser la comprhension collective de la ralit sociopolitique ou du consensus scientifique. Par exemple, il y a dj des cas de dividende du menteur, o des personnes trs en vue sont en mesure d’expliquer des preuves dfavorables comme tant gnres par l’IA, en dplaant la charge de la preuve de manire coteuse et inefficace.
Prvention et mesures d’attnuation
Cette tude a plusieurs consquences sur la manire d’aborder les mesures d’attnuation. Les tactiques d’abus courantes telles que la NCII sont exacerbes par les vulnrabilits techniques des systmes de GenAI que les dveloppeurs de modles s’efforcent activement de rsoudre et contre lesquelles ils mettent en place des mesures de protection, telles que la suppression du contenu toxique des donnes d’entranement ou la restriction des invites qui violent les conditions d’utilisation de ces outils.
Cependant, de nombreux cas identifis (par exemple ceux impliquant des reprsentations trompeuses) exploitent les vulnrabilits du contexte social plus large dans lequel ils sont dploys – par exemple, les campagnes d’escroquerie par hameonnage qui reposent sur l’attente raisonnable d’un individu quant l’authenticit de son paysage numrique et de ses interactions avec celui-ci.
Bien que les interventions techniques puissent apporter certains avantages, dans ces cas, des interventions non techniques, orientes vers l’utilisateur, sont ncessaires. Le « prebunking », par exemple, une intervention psychologique courante pour se protger contre la manipulation de l’information, pourrait tre utilement tendu pour protger les utilisateurs contre les tactiques trompeuses et manipulatrices de la GenAI.
En outre, de nombreuses formes courantes d’utilisation abusive reposent sur l’exploitation des capacits de la GenAI que les dveloppeurs de modles s’efforcent activement d’amliorer (par exemple, les sorties photoralistes). Les outils de GenAI devenant plus performants et plus accessibles, une augmentation du contenu gnr par l’IA dans le cadre de campagnes de dsinformation et de manipulation bases sur les mdias serait craindre.
Si plusieurs solutions, comme les outils de dtection des mdias synthtiques et les techniques de filigrane, ont t proposes et sont prometteuses, elles sont loin d’tre la panace. En particulier, la capacit d’adaptation inhrente aux acteurs malveillants signifie que les mthodes de dtection s’amliorent en mme temps que les mthodes de contournement. Dans ces cas, des interventions cibles telles que des restrictions sur les capacits de modles spcifiques et des restrictions d’utilisation peuvent tre justifies lorsque le risque d’utilisation abusive est lev et que les autres interventions sont insuffisantes.
Conclusion
Les chercheurs concluent :
Notre tude a cherch clairer le paysage en volution de l’utilisation abusive de la GenAI et de ses impacts. Alors que les craintes d’attaques adverses sophistiques ont domin le discours public, nos rsultats rvlent une prvalence d’utilisations abusives de faible technicit et facilement accessibles par un large ventail d’acteurs, souvent motivs par des gains financiers ou de rputation. Ces abus, mme s’ils ne sont pas toujours ouvertement malveillants, ont des consquences considrables sur la confiance, l’authenticit et l’intgrit des cosystmes d’information.
Nous avons galement constat que la GenAI amplifie les menaces existantes en abaissant les barrires l’entre et en augmentant la puissance et l’accessibilit de tactiques auparavant coteuses. Ces rsultats soulignent la ncessit d’une approche multiples facettes pour attnuer l’utilisation abusive de la GenAI, impliquant une collaboration entre les dcideurs politiques, les chercheurs, les leaders de l’industrie et la socit civile. Pour relever ce dfi, il faut non seulement des avances techniques, mais aussi une meilleure comprhension des facteurs sociaux et psychologiques qui contribuent l’utilisation abusive de ces outils puissants.
Source : « Generative AI Misuse: A Taxonomy of Tactics and Insights from Real-World Data »
Et vous ?
Pensez-vous que cette tude est crdible ou pertinente ?
Quel est votre avis sur le sujet ?
Voir aussi :