Le National Institute of Standards and Technology (NIST) réédite un outil qui teste la sensibilité des modèles d’intelligence artificielle (IA) à être « empoisonnés » par des données malveillantes.
L’outil, appelé Dioptra, a été lancé il y a deux ans. Grâce à cet outil, il est possible de déterminer les types d’attaques qui réduiraient l’efficacité d’un modèle d’IA et de quantifier la réduction des performances afin de déterminer les conditions qui ont entraîné l’échec du modèle.
Pourquoi c’est important ?
Il est essentiel que les organisations prennent des mesures pour garantir la sécurité des programmes d’IA. Les modèles d’IA s’entraînent à partir des données existantes et si quelqu’un injecte délibérément des données malveillantes – par exemple, des données qui amènent l’IA à ignorer les limitations des concepteurs. Le NIST souligne que les résultats pourraient être désastreux.
Le directeur du NIST, Laurie E. Locascio, estime que cette technologie comporte des risques bien plus importants que ceux associés à d’autres types de logiciels.
« Ces documents d’orientation et cette plateforme de test informeront les créateurs de logiciels de ces risques uniques et les aideront à développer des moyens d’atténuer ces risques tout en soutenant l’innovation », indique l’Institut.
Tester de multiples combinaisons d’attaques, de défenses et d’architectures de modèles
Dioptra peut tester de multiples combinaisons d’attaques, de défenses et d’architectures de modèles. L’idée est de mieux comprendre quelles attaques peuvent représenter les plus grandes menaces. Et quelles solutions pourraient être les meilleures.
L’outil ne promet pas d’éliminer tous les risques. Mais il prétend contribuer à les atténuer. Il peut être téléchargé gratuitement.