Le ministre de la Fonction publique, Guillaume Kasbarian, entend donner “un coup de booster” à l’intelligence artificielle dans les services de l’État. Dans un rapport, le Sénat s’intéresse lui à la place à accorder à l’IA dans l’éducation.
Les services publics sont-ils voués à basculer dans l’ère de l’IA ? Le chemin à parcourir sera long, les projets y étaient encore peu nombreux.
Mais pour la Défenseure des droits, il y a d’ores et déjà raison de s’inquiéter.
Des décisions plus automatiques que prévu
Dans un rapport tout juste publié, elle constate que le nombre de décisions administratives individuelles prises sur la base de résultats livrés par des algorithmes ou systèmes d’IA augmente. Or, cette trajectoire d’algorithmisation des services publics n’est pas sans risques pour les droits des usagers, juge la Défenseure.
Les réclamations auprès de l’institution “restent à ce jour peu nombreuses” certes. Les griefs exprimés concernent en effet davantage le résultat des décisions que le processus qui y a conduit.
“Mais certaines réclamations reçues donnent à voir des difficultés qui apparaissent potentiellement systémiques, notamment sur la procédure Affelnet” [Ndlr : sur l’affectation après la 3e], retient cependant la Défenseure.
Culture des droits Vs quête de rentabilité
Le recours croissant aux algorithmes doit donc être encadré afin que soit préservée “une véritable culture des droits” dans les administrations. Pourquoi ce rappel ? Pour prévenir la poursuite d’objectifs prioritaires de réduction des coûts et de personnel et d’indicateurs de rentabilité.
Au-delà de la question de la finalité de l’IA dans le secteur public, le rapport interroge la place accordée à l’humain dans les décisions. Nombre d’entre elles sont qualifiées de “partiellement automatisées”. Mais “la réalité” des interventions humaines est questionnable, considère le Défenseur des droits.
“Le nombre massif des décisions contribue, dans certains cas, à s’interroger sur la réalité de l’intervention humaine dans des processus de prise de décisions administratives individuelles”, souligne-t-il.
Doutes sur le qualificatif de « partiellement automatisée »
En outre, algorithmes et SIA “sont souvent précisément mis en place” dans le but de simplifier la prise de décision, réduire les tâches répétitives des agents, voire réaliser des économies de personnel. Cette automatisation cachée a pour conséquence un “fort décalage entre le droit et les pratiques”.
Dans les faits, la distinction entre décisions partiellement automatisées et entièrement automatisées s’avère floue, ce qui remet en cause le cadre juridique applicable. Celui-ci prévoit des droits et des garanties, dès lors peu respectés.
“Le cadre juridique interdit la prise de décisions administratives individuelles entièrement automatisées sur la base d’un traitement de données à caractère personnel contenant des données sensibles au sens du RGPD”, rappelle la Défenseure.
Un enjeu de confiance vis-à-vis du service public
Pour remédier à la situation et garantir le respect des droits des usagers, le rapport recommande d’enrichir la méthode et les critères permettant de qualifier l’intervention humaine dès lors que la décision est décrite comme partiellement automatisée.
La Défenseure encourage également à agir sur les pratiques de la transparence des systèmes et des décisions prises. Et cela passera notamment par une “indispensable” remise au centre de l’expertise des administrations et par l’internalisation de compétences.
« À l’heure où, dans l’administration, des systèmes automatisés de plus en plus complexes sont déployés ou sur le point de l’être, les réponses apportées à ces questions paraissent d’autant plus importantes qu’elles constituent, en fait, le socle sur la base duquel pourra se construire la confiance des usagers vis-à-vis du service public », conclut le rapport.