Le périmètre d’activité de la région Ile-de-France, englobant environ 12 millions d’habitants, est vaste, tout autant que la place accordée au numérique au sein de la collectivité. Pour conduire ses missions, comme la gestion de l’informatique des lycées, le financement des entreprises et les transports (IDF Mobilités), la région emploie 12.000 collaborateurs.
Elle dispose également de sa propre DSI, dirigée par Achille Lerpinière. Et cette direction investit depuis début 2023 dans des cas d’usage en IA, y compris en GenAI, comme l’expliquait le Chief Information & Technology Officer le 15 octobre à l’occasion de la conférence Big Data & AI Paris 2024.
Au total, une dizaine d’applications d’IA ont été initiées l’année dernière.
Un LLM de confiance hébergé dans des infrastructures souveraines
Le backlog s’est ensuite enrichi de cas d’usage supplémentaires remontés par les employés de la région francilienne. C’est dans ce cadre que la collectivité a été amenée à collaborer avec Orange Business et l’éditeur français spécialisé en GenAI, LightOn, dont la technologie a été intégrée pour traiter certains de ces usages.
Pour Mick Levy, directeur Stratégie et Innovation d’Orange Business, le partenariat s’inscrivait dans une démarche visant à déployer l’IA dans un cadre de confiance. Afin de prétendre à cette appellation, le fournisseur s’appuie sur des datacenters localisés en France et des garanties contre l’extraterritorialité.
Engagé dans un processus de certification SecNumCloud, Orange entend d’ailleurs renforcer son positionnement sur l’IA de confiance. “C’est bien parti”, laisse échapper le consultant, suggérant une finalisation “dans les semaines à venir.”
“Au sein de ces datacenters, nous avons installé des infrastructures dédiées à l’IA générative, dont les fameuses puces Nvidia H100 (…) sur lesquelles nous avons installé un LLM d’une startup engagée, française, partie d’un modèle open source complété dans son apprentissage par encore plus de données francophones”, détaille Mick Levy.
Intégré aux offres de l’ESN, le LLM LightOn est ainsi fourni à la région Ile-de-France, qui peut procéder à du fine-tuning du modèle pour en améliorer les performances pour ses usages spécifiques. Début 2023, c’est pourtant sur AWS et GCP que la collectivité était en mesure d’exécuter LightOn.
PoC chez les hyperscalers, mais IA en production relocalisées
Le recours aux services de cloud public des hyperscalers n’était cependant pas conciliable à terme avec la sensibilité des données de la région. Son premier projet visait en effet à se doter d’un Tech Assistant, un agent conversationnel pour les équipes techniques.
“Nous avions besoin de confiance et donc de souveraineté”, justifie Achille Lerpinière. Sur un plan réglementaire, l’hébergement auprès d’un Gafam n’était pas proscrit puisque début 2023, NIS2 restait à finaliser.
Pour le développement d’un PoC de son assistant de résolution des incidents IT, les services des hyperscalers ont donc été consommés. Des informations supplémentaires sur les projets de la région devraient être communiqués lors de La Matinale Data & IA 2024 du 5 décembre d’Orange Business.
“Nous avons fine-tuné le modèle dans le but que l’IA soit en capacité de détecter les écarts entre les documentations, les plus anciennes et les plus récentes, et de proposer de l’auto complétude”, indique d’ores et déjà le DSI.
Lors de la phase de production, les développements devaient en revanche être rapatriés dans des infrastructures de confiance, en on-premise ou sur du cloud souverain. C’est cette seconde option qui a été privilégiée.
L’intégration de processeurs graphiques dédiés pour l’entraînement et l’inférence des modèles d’IA dans les datacenters de la région aurait nécessité des évolutions conséquentes des infrastructures et généré de la complexité.
RAG et données personnelles en environnement de confiance
Pour bénéficier d’offres de type GPU-as-a-service et héberger ses cas d’usage IA traitant de la donnée sensible (dont personnelle), l’Ile-de-France a choisi de tirer profit du partenariat conclu entre Orange Business et LightOn.
“Nous travaillions déjà avec Orange Business sur la cybersécurité et sur la couverture réseau. Étendre notre collaboration semblait plutôt naturel”, considère le DSI. Achille Lerpinière a aussi tenu compte de la prochaine certification SecNumCloud de l’acteur et choisi d’anticiper les risques de conformité avec NIS2.
C’est dans cet environnement dit de confiance que la région mettra en production début 2025 différents cas d’usage. Il s’agit notamment pour elle d’unifier ses guichets de financement, multiples aujourd’hui. La DSI, comme avec son assistant Tech, prévoit d’alimenter l’IA avec l’ensemble de sa documentation sur ses plans de financement.
Dans le cadre d’une approche RAG, l’outil permettra aux entreprises et aux franciliens d’accéder plus facilement à l’information. La collectivité prévoit aussi en 2025 de se doter d’agents conversationnels, pour ses centres d’appels et les canaux vocaux en particulier.
Des agents IA souverains et frugaux en 2025
“L’IA générative sur le speech-to-text et le text-to-speech est aussi un gros sujet sur lequel nous allons avancer”, confie Achille Lerpinière, qui ajoute que ces déploiements tiendront compte des enjeux de souveraineté et de frugalité de la région francilienne.
Le DSI assure par ailleurs que l’IA n’a pas pour seul objectif l’amélioration de la productivité et de l’efficacité, et donc les usages internes. “Il était impensable de ne travailler que les cas d’usage internes à l’administration”, considère-t-il.
En outre, pour développer des applications d’IA, la région peut compter sur un riche patrimoine de données, notamment structurées. “Nous disposons de tout ce qu’il faut pour pouvoir monter les use cases, bien sûr avec un peu de nettoyage des données et d’ajout de métadonnées.”
Pour enrichir encore son patrimoine Data, la DSI de la région investit également dans le catalogage des données et la gouvernance. L’IA est aussi mise à contribution pour améliorer la fraîcheur des données. L’APIsation du SI constitue un autre axe de travail visant à structurer la donnée et sa circulation via l’interconnexion des systèmes.