Les prédateurs sexuels exploitent les technologies d’IA générative pour partager sur des forums de fausses vidéos de violences sexuelles commises sur des enfants. Ils échangent aussi des astuces pour contourner les mesures de sécurité des IA, ou pour mieux piéger leurs victimes. Pour l’instant, il n’existe que peu de garde-fous pour limiter ce type de pratiques.
Quand la technologie est utilisée à mauvais escient : une ONG américaine, le National Center for Missing and Exploited Children (en français, Centre national pour les enfants disparus et exploités) alerte sur le fait que les prédateurs sexuels visant des mineurs ont aussi recours à l’intelligence artificielle (IA) générative. Ces derniers se serviraient d’outils de génération d’images et de textes pour arriver à leurs fins. Sur certains forums, on trouve désormais des scripts décrivant des profils qui permettraient de gagner plus facilement la confiance de mineurs. Les fausses images de violences sexuelles commises sur des enfants générées par l’IA s’y multiplieraient, tout comme des conseils pour échapper à la modération des IA génératives, quand elle existe, rapporte Bloomberg, mercredi 24 mai.
Si certaines de ces pratiques immorales ne sont pas forcément illégales – pour l’instant -, elles ont pour conséquence d’amplifier la diffusion d’images pédopornographiques. Elles augmentent aussi les cas où les enfants pourraient être piégés par des pédocriminels. Problème : ce que font les utilisateurs de l’IA, qu’elle soit en accès gratuit ou payant, est quelque chose de difficilement contrôlable.
Bientôt un déluge de contenus pédopornographiques générés par l’IA ?
Des garde-fous ont cependant été mis en place. Des entreprises développant ces IA génératives d’images ont adopté, en amont, des mesures de sécurité pour ne pas que les utilisateurs puissent générer des images violentes ou sexuelles avec leurs outils. Leur moyen : bloquer des mots clés pour éviter la génération de ce type de contenus, comme l’ont fait Stable Diffusion ou Dall-E. Mais il serait facile de contourner ces outils de modération en utilisant d’autres expressions que les mots blacklistés, ou en passant par d’autres langues que l’anglais. Ces astuces seraient partagées sur des forums, rapporte Avi Jager, un des responsables de ActiveFence, une start-up spécialisée dans la modération de contenu, interrogé par nos confrères. Et d’autres IA ne limiteraient tout simplement pas leurs prompts. Les ONG qui défendent les droits des enfants craignent qu’à terme, l’utilisation de ces outils ne crée un déluge de ce type de contenus en ligne.
Il deviendrait alors difficile de différencier les contenus générés par l’IA des vraies images d’agressions sexuelles commises sur des enfants. Le risque serait de voir les forces de l’ordre perdre un temps précieux à essayer de distinguer le vrai du faux.
L’IA bientôt utilisée pour cibler des mineurs à grande échelle ?
La multiplication de ces fausses images n’est pas le seul problème. L’IA permettrait aussi aux prédateurs sexuels de multiplier leurs tentatives d’approches de leurs victimes potentielles. Interviewée par nos confrères, la directrice juridique du National Center for Missing and Exploited Children, Yiotas Souras, explique que certains se partagent des scripts générés par l’IA. On peut y lire la description de personnalités fictives qui permettraient de gagner la confiance de mineurs, afin de mieux les piéger. Et le phénomène n’en serait qu’à ses prémisses. « On est à l’aube de quelque chose de nouveau. Ça ne fait que commencer », explique-t-elle à nos confrères.
Outre Manche, l’inquiétude est aussi vivace. Adam Dodge, fondateur d’EndTab, un groupe britannique de lutte contre les agressions sexuelles facilitées par la technologie, craint lui aussi que l’IA ne soit utilisée, à terme, pour cibler les mineurs à grande échelle. Interrogé par The Times le 21 mai, le responsable associatif rappelle que ces outils d’IA peuvent être très persuasifs. « Si je crée un clone IA d’un prédateur (…) et que j’entraîne ce bot à identifier et à communiquer avec des enfants vulnérables en ligne, ce à grande échelle […], ce bot pourrait alors cibler 10 000 enfants à la fois », s’alarme-t-il.
L’ONG américaine explique, pour sa part, être en discussions avec des législateurs pour évaluer comment de nouvelles réglementations pourraient limiter ces utilisations d’IA qui mettent en danger les mineurs et qui diffusent des images pédopornographiques. Aux États-Unis, le fait de générer ce type de contenus ne serait pas en soi illicite, explique Bloomberg. Des plaintes concernant des images d’agressions sexuelles d’enfants générées artificiellement ont aussi été déposées.
Source :
Bloomberg