Une nouvelle IA de synthèse vocale a été détournée par des trolls dans le but de créer des deepfakes de célébrités.
Vent de panique chez ElevenLabs, alors que son laboratoire de synthèse vocale, VoiceLab, a fait les frais d’utilisateurs de 4chan. Forte d’une intelligence artificielle de qualité, l’entreprise n’a pu empêcher le détournement abusif de ses outils dans le but de générer des contenus haineux.
Startup fondée par deux anciens de Google et Palantir, la société londonienne est à l’origine d’une nouvelle IA vocale permettant de créer des voix de synthèse ultraréalistes à partir de texte, ou de cloner des voix existantes à partir d’extraits audio.
La semaine dernière, ces technologies prometteuses étaient déployées en beta publique gratuite pour offrir aux internautes un aperçu des performances de cette IA. Il n’aura pas fallu plus d’un weekend pour que des internautes malintentionnés s’en emparent et la détournent. Lundi, ElevenLabs confirmait sur son compte Twitter avoir détecté un nombre croissant d’utilisations abusives de sa technologie, sans plus de précisions.
Crazy weekend – thank you to everyone for trying out our Beta platform. While we see our tech being overwhelmingly applied to positive use, we also see an increasing number of voice cloning misuse cases. We want to reach out to Twitter community for thoughts and feedback!
— ElevenLabs (@elevenlabsio) January 30, 2023
C’est finalement Motherboard qui révèle avoir trouvé plusieurs deepfakes, générés à l’aide du module de clonage de voix d’ElevenLabs. Les échantillons sonores diffusés sur 4chan reprenaient les voix de nombreuses célébrités anglophones pour leur faire proférer des propos violents, racistes, homophobes et transphobes. Toujours d’après Motherboard, on pouvait notamment y entendre l’actrice Emma Watson lire des extraits de Mein Kampf, ou encore l’animateur ultra-conservateur Ben Shapiro formuler des remarques racistes au sujet d’Alexandria Ocasio-Cortez.
Contenus marqués et identification requise
À la suite de cette affaire, ElevenLabs avait annoncé suspendre l’accès gratuit à sa plateforme, le temps de mettre en place des garde-fous pour empêcher que de tels détournements puissent se reproduire en toute impunité.
Depuis mardi, la plateforme est à nouveau accessible à tous, sous conditions. ElevenLabs a confirmé sur son compte Twitter que les extraits audio générés par ses outils de synthèse vocale et de clonage seraient dorénavant marqués. En complément, la société compte déployer dans les jours à venir un outil d’identification des contenus générés avec son IA.
Thank you everyone for your advice. We love what you’re creating, but a set of actors use our tech for malicious purposes. We decided to take the following steps to address the issues:
— ElevenLabs (@elevenlabsio) January 31, 2023
La plupart des contenus malveillants retrouvés sur 4chan ayant été générés par des comptes gratuits, et donc anonymes, ElevenLabs a également décidé de circonscrire son VoiceLab aux utilisateurs Premium. Les internautes souhaitant tester gratuitement l’IA vocale de la société le pourront toujours grâce à la mise en place d’une version de démonstration nécessitant de renseigner ses informations de paiement. Ces données pourront ainsi permettre à ElevenLab d’identifier les auteurs de contenus abusifs et illégaux générés à partir de son IA.
Source :
Motherboard