Le NIST publie sur GitHub la plateforme open-source Dioptra pour tester la scurit de l’IA face diffrents types d’attaques. L’objectif du NIST est de promouvoir l’IA digne de confiance, c’est–dire, une IA valide et fiable, sre, scurise et rsiliente, responsable et transparente, explicable et interprtable, respectueuse de la vie prive et quitable, les biais nuisibles tant grs. Dioptra fournit des fonctionnalits pour valuer, analyser et suivre les risques identifis lis l’IA.
L’utilisation croissante de l’intelligence artificielle (IA) au 21e sicle entrane une volution socitale et conomique vers une automatisation accrue, une prise de dcision fonde sur les donnes et l’intgration des systmes d’IA dans divers secteurs conomiques et domaines de la vie, ce qui a un impact sur les marchs de l’emploi, les soins de sant, le gouvernement, l’industrie, l’ducation, la propagande et la dsinformation. Cette volution soulve des questions sur les effets long terme, les implications thiques et les risques de l’IA, ce qui suscite des discussions sur les politiques rglementaires visant garantir la scurit et les avantages de la technologie.
Le National Institute of Standards and Technology (NIST) vient de publier une plateforme open-source pour les tests de scurit de l’IA. Le NIST est l’agence du ministre amricain du commerce dont la mission est de promouvoir l’innovation et la comptitivit industrielle des tats-Unis. Le nouvel outil logiciel open-source du NIST permet de tester la rsilience des modles d’apprentissage machine (ML) diffrents types d’attaques.
L’outil, connu sous le nom de Dioptra, a t publi en mme temps que de nouvelles orientations du NIST sur l’IA, marquant le 270e jour depuis la signature du dcret du prsident Joe Biden sur le dveloppement sr, scuris et digne de confiance de l’IA. L’outil Dioptra, disponible sur GitHub, rpondra l’exigence du dcret selon laquelle le NIST doit aider tester les modles d’IA et soutient galement la fonction de « mesure » du cadre de gestion des risques lis l’IA du NIST.
« Le dveloppement open source de Dioptra a commenc en 2022, mais il est rest l’tat de pr-version alpha jusqu’ vendredi dernier, le 26 juillet« , a dclar un porte-parole du NIST. « Les principales caractristiques de la version alpha comprennent une nouvelle interface Web, l’authentification des utilisateurs et le suivi de la provenance de tous les lments d’une exprience, ce qui permet la reproductibilit et la vrification des rsultats.«
Prsentation de Dioptra : Logiciel de test pour la caractrisation des technologies de l’IA
Dioptra est une plateforme d’essai logicielle permettant d’valuer les caractristiques de fiabilit de l’intelligence artificielle (IA). Une IA digne de confiance est : valide et fiable, sre, scurise et rsiliente, responsable et transparente, explicable et interprtable, respectueuse de la vie prive et quitable – les biais nuisibles tant grs. Dioptra soutient la fonction de mesure du cadre de gestion des risques de l’IA du NIST en fournissant des fonctionnalits permettant d’valuer, d’analyser et de suivre les risques d’IA identifis.
Dioptra fournit une API REST, qui peut tre contrle via une interface web intuitive, un client Python ou toute bibliothque client REST au choix de l’utilisateur pour la conception, la gestion, l’excution et le suivi des expriences. La version 1.0.0 comprend des amliorations et des dveloppements continus.
Actuellement, voici les principaux cas d’utilisation pour Dioptra :
- Test de modle :
- 1re partie – valuer les modles d’IA tout au long du cycle de dveloppement
- 2e partie – valuer les modles d’IA pendant l’acquisition ou dans un environnement de laboratoire d’valuation
- 3me partie – valuer les modles d’IA au cours des activits d’audit ou de conformit.
- Recherche : Aider les chercheurs en IA dignes de confiance suivre les expriences
- valuations et dfis : Fournir une plateforme et des ressources communes aux participants
- Red-Teaming : Exposer les modles et les ressources une quipe rouge dans un environnement contrl
Dioptra s’efforce d’obtenir les proprits cls suivantes :
- Reproductible : Dioptra cre automatiquement des clichs (snapshots) des ressources afin que les expriences puissent tre reproduites et valides.
- Traable : L’historique complet des expriences et de leurs intrants est suivi.
- Extensible : Prise en charge de l’extension des fonctionnalits et de l’importation de paquets Python existants via un systme de modules d’extension.
- Interoprable : Un systme de types favorise l’interoprabilit entre les modules d’extension.
- Modulaire : De nouvelles expriences peuvent tre composes partir de composants modulaires dans un simple fichier yaml.
- Scuris : Dioptra assure l’authentification des utilisateurs avec des contrles d’accs venir
- Interactif : Les utilisateurs peuvent interagir avec Dioptra via une interface web intuitive.
- Partageable et rutilisable : Dioptra peut tre dploy dans un environnement multi-tenant afin que les utilisateurs puissent partager et rutiliser les composants.
Instructions d’utilisation
Construire les conteneurs : La premire tape de la mise en place de Dioptra est de cloner le rfrentiel et de construire les conteneurs docker pour les diffrents services qui font partie d’un dploiement.
Excuter Dioptra : Une fois les conteneurs construits, l’tape suivante consiste configurer le dploiement avec cruft et excuter Dioptra. En outre, vous pouvez ajouter des ensembles de donnes.
Enregistrement de l’utilisateur : Enregistrez un compte utilisateur avec votre instance de Dioptra via l’interface utilisateur. L’interface utilisateur est accessible via votre navigateur web l’URL spcifie lors de la cration du dploiement.
Licence d’utilisation
Licence Creative Commons : Dioptra est mis disposition en tant que service public par le National Institute of Standards and Technology (NIST), une agence du Dpartement du commerce des tats-Unis. Ce logiciel a t dvelopp en partie par des employs du NIST et en partie par des sous-traitants du NIST. Les droits d’auteur sur les parties de ce logiciel dveloppes par les sous-traitants du NIST ont t concds sous licence ou cds au NIST. Conformment la section 105 du titre 17 du code des tats-Unis, les travaux des employs du NIST ne sont pas protgs par le droit d’auteur aux tats-Unis. Toutefois, le NIST peut dtenir des droits d’auteur internationaux sur les logiciels crs par ses employs et des droits d’auteur nationaux (ou des droits de licence) sur des parties de logiciels qui ont t cdes ou concdes sous licence au NIST. Dans la mesure o le NIST dtient des droits d’auteur sur ce logiciel, celui-ci est mis disposition sous la licence Creative Commons Attribution 4.0 International (CC BY 4.0). Les clauses de non-responsabilit de la licence CC BY 4.0 s’appliquent toutes les parties du logiciel dveloppes ou concdes sous licence par le NIST.
Source : Prsentation de Dioptra
Et vous ?
Pensez-vous qu’un tel outil est crdible ou pertinent ?
Avez-vous utilis cet outil ou un outil similaire, et si oui, quel est votre avis ?
Voir aussi :