Sommet sur l’IA à Paris oblige, l’Anssi vient de dévoiler ce mardi 10 février ses préconisations en matière de sécurité pour les outils basés sur l’intelligence artificielle. Une publication de 14 pages résumant les travaux menés par le cyber-pompier français. Assisté d’une vingtaine de partenaires, dont la Cnil, l’agence pour l’IA de défense et l’Inria, ce document succède à un premier travail publié l’an dernier sur l’IA générative.
En préambule, l’agence de Vincent Strubel rappelle l’enjeu. Faute des bonnes mesures de sécurité, “des acteurs malveillants pourraient exploiter les vulnérabilités des technologies d’IA et à l’avenir compromettre leur usage”, avertit-elle. “Il est donc impératif de comprendre et limiter ces risques” si l’on veut pouvoir tirer profit des outils basés sur l’IA, résume l’Anssi.
#SommetActionIA |
Vincent Strubel, DG ANSSI, participait aux Journées scientifiques de l’Institut Polytechnique de Paris afin de présenter notre analyse des risques « Building trust in AI through a cyber risk approach » co-signée par 16 partenaires internationaux.
cyber.gouv.fr/publications…
— ANSSI (@anssi-fr.bsky.social) 7 février 2025 à 17:37
Empoisonnement, extraction, évasion
Trois grands scénarios d’attaques sont détaillés. Il s’agit tout d’abord de l’empoisonnement. Dans ce scénario, les données d’entraînement sont altérées, ce qui affecte la réponse de l’outil. Ensuite, l’extraction. Il s’agit ici de reconstruire ou de récupérer des données confidentielles du système d’IA. Enfin, l’évasion, à savoir l’altération des données d’entrée “afin de modifier le fonctionnement attendu du système d’IA”.
Résultat: de telles attaques pourraient faire complètement dérailler une intelligence artificielle. Last but not least, elles pourraient aussi conduire au vol ou à la divulgation de données sensibles. Par exemple via la compromission de l’infrastructure d’hébergement et d’administration des systèmes d’IA, ou de la chaîne d’approvisionnement.
L’Anssi s’attend ainsi à des réactions en chaîne, avec des mouvements par latéralisation des attaquants, profitant des interconnexions entre les systèmes d’IA. L’agence pointe également les dangers liés aux lacunes humaines et organisationnelles. “Un manque de formation peut entraîner une dépendance excessive à l’automatisation et une capacité insuffisante à détecter les comportements anormaux des systèmes d’IA”, note-t-elle.
Préconisations
Enfin, l’Anssi souligne qu’une compromission d’une base de données utilisée pour l’entraînement d’un modèle pourrait se montrer “particulièrement dangereuse”. Et de prendre l’exemple d’un système d’IA empoisonné utilisé pour catégoriser des images utilisées dans la santé ou la sécurité physique.
Pour éviter de tels désastres, l’Anssi préconise une poignée de recommandations, adressées aux utilisateurs, fournisseurs et développeurs, et enfin aux décideurs. L’agence de cybersécurité estime par exemple qu’il est nécessaire de superviser et de maintenir en continu les systèmes d’IA.
De même, l’agence appelle à faire une veille pour identifier les nouvelles menaces. Elle insiste enfin sur l’indispensable formation et sensibilisation en interne sur les enjeux et les risques. Un sujet qui devrait rester en haut de la pile pour les années à venir.