Après avoir généré des images sexualisées de mineurs, Grok a admis la faute et invoquer des « défaillances de ses garde-fous ». L’IA de xAI, imaginée par Elon Musk comme plus permissive et « anti-woke », a surtout rappelé (après coup…) que ces contenus sont illégaux. Un incident de plus qui met en lumière les limites des promesses de modération des outils d’IA générative.
Se libérer des « biais » des autres modèles d’IA ne signifie pas pour autant prendre des libertés vis-à-vis de la législation, ni oublier une évidence : la production d’images pédopornographiques est interdite. C’est pourtant ce que Grok a permis juste avant la fin de l’année, ce que le bot a admis ces derniers jours. Piégée par des utilisateurs, l’IA a généré des images de mineurs dans des situations suggestives malgré sa propre politique interdisant la sexualisation des enfants.
Les failles structurelles de l’IA générative
Les équipes de xAI ont « identifié » des « défaillances » dans les garde-fous de Grok et annoncé des correctifs en urgence. Elles rappellent aussi, à toutes fins utiles, que « les contenus pédopornographiques sont illégaux et interdits ». Les images en question ont été supprimées. L’entreprise d’Elon Musk a positionné Grok comme un bot plus permissif que d’autres, en lançant par exemple l’été dernier une fonction « Spicy Mode » pour adultes avertis. Ce service interdit évidemment les contenus sexuels impliquant des mineurs.
Cet incident s’inscrit dans un contexte bien plus large et préoccupant. Selon l’Internet Watch Foundation (IWF), une organisation spécialisée dans l’identification et le signalement des contenus pédopornographiques en ligne, le volume d’images de ce type générées par des outils d’IA a bondi de 400 % au cours du premier semestre 2025.
L’association alerte sur une accélération « effrayante » du phénomène : les images deviennent plus réalistes, plus explicites et plus faciles à produire, y compris à partir de simples détournements de modèles pourtant dotés de garde-fous. Une évolution qui interroge les systèmes de modération automatisés et inquiète les acteurs de la protection de l’enfance.
Ces dérives ne surgissent pas de nulle part. En 2023, une enquête du Stanford Internet Observatory avait mis en évidence la présence de plus de mille contenus pédopornographiques dans LAION-5B, un gigantesque jeu de données public utilisé pour entraîner de nombreux générateurs d’images par IA.
Les chercheurs avertissaient déjà que ce type de données pouvait suffire à apprendre aux modèles des « concepts » qu’ils n’auraient jamais dû assimiler, même en faible quantité. Quand des images illégales se retrouvent dans les fondations mêmes de ces systèmes, les garde-fous a posteriori ne font souvent que limiter les dégâts.
👉🏻 Suivez l’actualité tech en temps réel : ajoutez 01net à vos sources sur Google, et abonnez-vous à notre canal WhatsApp.
Source :
Bloomberg