Une IA vocale détournée à des fins racistes, homophobes et transphobes

Intelligence artificielle


Une nouvelle IA de synthèse vocale a été détournée par des trolls dans le but de créer des deepfakes de célébrités.

Vent de panique chez ElevenLabs, alors que son laboratoire de synthèse vocale, VoiceLab, a fait les frais d’utilisateurs de 4chan. Forte d’une intelligence artificielle de qualité, l’entreprise n’a pu empêcher le détournement abusif de ses outils dans le but de générer des contenus haineux.

Startup fondée par deux anciens de Google et Palantir, la société londonienne est à l’origine d’une nouvelle IA vocale permettant de créer des voix de synthèse ultraréalistes à partir de texte, ou de cloner des voix existantes à partir d’extraits audio.

La semaine dernière, ces technologies prometteuses étaient déployées en beta publique gratuite pour offrir aux internautes un aperçu des performances de cette IA. Il n’aura pas fallu plus d’un weekend pour que des internautes malintentionnés s’en emparent et la détournent. Lundi, ElevenLabs confirmait sur son compte Twitter avoir détecté un nombre croissant d’utilisations abusives de sa technologie, sans plus de précisions.

C’est finalement Motherboard qui révèle avoir trouvé plusieurs deepfakes, générés à l’aide du module de clonage de voix d’ElevenLabs. Les échantillons sonores diffusés sur 4chan reprenaient les voix de nombreuses célébrités anglophones pour leur faire proférer des propos violents, racistes, homophobes et transphobes. Toujours d’après Motherboard, on pouvait notamment y entendre l’actrice Emma Watson lire des extraits de Mein Kampf, ou encore l’animateur ultra-conservateur Ben Shapiro formuler des remarques racistes au sujet d’Alexandria Ocasio-Cortez.

Contenus marqués et identification requise

À la suite de cette affaire, ElevenLabs avait annoncé suspendre l’accès gratuit à sa plateforme, le temps de mettre en place des garde-fous pour empêcher que de tels détournements puissent se reproduire en toute impunité.

Depuis mardi, la plateforme est à nouveau accessible à tous, sous conditions. ElevenLabs a confirmé sur son compte Twitter que les extraits audio générés par ses outils de synthèse vocale et de clonage seraient dorénavant marqués. En complément, la société compte déployer dans les jours à venir un outil d’identification des contenus générés avec son IA.

La plupart des contenus malveillants retrouvés sur 4chan ayant été générés par des comptes gratuits, et donc anonymes, ElevenLabs a également décidé de circonscrire son VoiceLab aux utilisateurs Premium. Les internautes souhaitant tester gratuitement l’IA vocale de la société le pourront toujours grâce à la mise en place d’une version de démonstration nécessitant de renseigner ses informations de paiement. Ces données pourront ainsi permettre à ElevenLab d’identifier les auteurs de contenus abusifs et illégaux générés à partir de son IA.

Source :

Motherboard





Source link

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.