Le gendarme des données personnelles italien a bloqué ClothOff, une application polémique qui se présente comme « un outil d’IA pour le déshabillage de photos ».
Après une controverse en Italie, la « Garante », l’équivalent de la Commission Nationale de l’Informatique et des Libertés (CNIL) dans le pays, a ordonné, le 1er octobre dernier, le blocage avec effet immédiat de « Clothoff ». Cette application d’IA générative controversée permet de créer de fausses images pornographiques en dénudant des personnes, à partir d’une simple photographie ou vidéo. Ces dernières semaines, l’application avait suscité un tollé dans le pays, après que des adolescents ont testé l’application sur plusieurs de leurs camarades, sans leurs consentements. Les photos dénudées avaient circulé sur les réseaux sociaux avant de finir sur des sites pornographiques.
Dans un communiqué publié le 3 octobre, l’autorité italienne en charge de la défense de la vie privée estime que le temps de son enquête, le service doit être bloqué en Italie. L’autorité italienne, connue pour être une des plus sévères en Europe, avait suspendu ChatGPT pendant un mois en 2023 avant de le condamner à une amende de 15 millions d’euros l’année dernière. Elle s’était aussi attaquée à l’IA chinoise DeepSeek et à Replika, un outil d’IA présenté comme un ami virtuel.
Cette fois, le gendarme de la vie privée italien explique que ClothOff génère des photographies de personnes dénudées à partir de photos réelles, gratuitement ou moyennant finances. Or, le service ne respecte pas plusieurs lois européennes. Sont cités le RGPD, le règlement européen qui protègent les données personnelles, et l’AI Act, le règlement européen sur l’intelligence artificielle.
À lire aussi : AI Act : un changement de taille attend les géants de l’IA le 2 août prochain : qu’est ce que ça va changer ?
Des deepfakes pornographiques de mineurs
La CNIL italienne note en effet que le service ne permet pas de vérifier le consentement de la personne concernée par la photographie. L’appli ne se bloque pas non plus lorsque les photographies concernent des mineurs.
Si l’application détaille, dans ses conditions d’utilisation, que l’utilisation de photos de personnes mineures ou sans leur consentement est strictement interdite, ces mesures ne sont pas suffisantes pour la Garante. Elle écrit ainsi que l’entreprise « n’a pas pris de mesures pleinement efficaces pour exclure que des mineurs puissent utiliser ClothOff en tant qu’utilisateurs et que des images représentant des mineurs puissent être téléchargées ».
À lire aussi : Les deepfakes pornographiques : un déplorable business en plein boom
Pas de marquage efficace
Autre problème : la société ne respecte pas non plus l’obligation d’avertissement et de marquage prévue par l’AI Act, censée prévenir qu’il s’agit d’un deepfake ou d’une photographie générée par l’IA.
Selon la Garante, « lorsqu’un système d’IA est utilisé pour générer ou manipuler des images ou des contenus audio ou vidéo qui ressemblent fortement à des personnes, des objets, des lieux, des entités ou des événements existants et qui pourraient apparaître comme faussement authentiques ou véridiques (“deep fake“), il doit être clairement et distinctement indiqué que le contenu a été créé ou manipulé artificiellement en étiquetant en conséquence les résultats de l’IA et en révélant leur origine artificielle ».
Or, si la société a bien mis en place un filigrane sur les photos produites par son système d’IA, ce dernier n’est « ni adéquat ni approprié ». Il est en effet trop discret, et peut être facilement supprimé. Le mot « Fake », utilisé pour marquer l’image, est décrit comme « difficilement visible ». La bannière en bas, qui devrait indiquer que l’image provient de ClothOff, peut facilement être supprimée par un simple recadrage.
Résultat, « ces services peuvent comporter des risques élevés pour les droits et libertés fondamentaux, en particulier en ce qui concerne la protection de la dignité de la personne, les droits à la confidentialité et à la protection des données personnelles des personnes concernées par ce type de traitement, en particulier lorsqu’il s’agit de mineurs (…) ».
Le marché de l’IA « traite les gens comme de la chair à laboratoire »
L’autorité en charge de la protection des données personnelles italienne a donc ouvert une enquête et envoyé une série de questions à la société qui a lancé l’application ClothOff. AI/Robotics Venture Strategy 3 Ltd, domiciliée aux îles vierges britanniques, n’a pas répondu aux demandes de l’autorité italienne dans le temps imparti. Résultat : le service est suspendu dans le pays, le temps de l’enquête.
Pour Guido Scorza, membre du collège de la Garante qui était interrogé par Wired, d’autres blocages devraient suivre. Car « malheureusement, l’Apple Store et le Play Store en regorgent », a-t-il déclaré, en référence à des applications similaires à ClothOff. Pour celui qui est avocat spécialisé dans le droit des nouvelles technologies, le marché de l’IA « traite les gens comme de la chair à laboratoire ».
Chez nos confrères, le membre de la CNIL italienne a comparé le secteur de l’intelligence artificielle avec l’industrie pharmaceutique. Dans ce secteur, un médicament qui présente des effets secondaires importants pendant la phase d’expérimentation n’est jamais mis sur le marché. Mais « dans le domaine de l’intelligence artificielle, c’est plutôt le contraire qui se produit : le marché lui-même est devenu le laboratoire où l’on expérimente des technologies encore instables », a-t-il regretté. Or dans la course à l’IA, a-t-il ajouté, l’important n’est pas de développer les systèmes les plus fiables ou les plus sûrs. L’objectif est d’être le premier à atteindre le marché et à s’imposer comme la norme, qu’importe les dommages collatéraux.
À lire aussi : Caméras IA chez les buralistes : la CNIL met le holà
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.