Utilisation de versions gratuites d’un outil d’IA générative pour des sujets hautement confidentiels, deepfake d’un dirigeant demandant en visio un transfert de fonds… La direction générale de la Sécurité intérieure alerte sur le cas de trois entreprises françaises, victimes ou témoins de mauvaises utilisations d’IA générative.
Comment éviter que ChatGPT, Gemini, Le Chat et leurs concurrents soient utilisés à des fins d’espionnage, d’ingérence économique, ou d’escroquerie ? Début janvier, la DGSI (direction générale de la Sécurité intérieure) a rappelé aux entreprises françaises les règles et les pièges à éviter en la matière.
Dans son dernier « flash ingérence », un communiqué destiné aux entreprises, le Renseignement français rapporte notamment les mésaventures de trois sociétés (non nommées), victimes ou témoins d’outils d’IA tombés dans de mauvaises mains ou mal utilisés.
Passer par une version gratuite d’IA génératives pour traduire un document interne ? Mauvaise idée
Dans la première société, décrite comme « une multinationale » et « une entreprise française stratégique », des salariés utilisaient régulièrement des outils d’IA grand public comme ChatGPT, Gemini, Le Chat etc pour traduire des documents confidentiels internes, sans autorisation de leur hiérarchie. Il n’y avait visiblement pas de « doctrine d’utilisation de l’IA en interne ». Lorsque la direction s’en aperçoit, elle réoriente ses employés vers « une solution payante d’IA générative », avant de s’atteler à la mise en place de règles claires sur l’usage de ces outils.
Au sein des entreprises, il est désormais courant de passer par des IA génératives pour traduire rapidement un document, générer un compte rendu de réunion, un résumé de PDF volumineux, voire des emails. Mais passer par des versions gratuites ou non validées en interne est loin d’être anodin, rappelle la DGSI. Dans de tels cas, toutes les informations que vous communiquez peuvent être réutilisées par le développeur d’IA pour entraîner ses modèles : un problème lorsqu’il s’agit de données confidentielles ou stratégiques, qui peuvent se retrouver dans la nature et à la portée des sociétés ou des puissances concurrentes.
D’autant que les informations données par les utilisateurs sont, souvent, stockées à l’étranger, sur des serveurs parfois soumis « à des lois étrangères à portée extraterritoriale », dont certaines équivalent à de véritables droits de regard de pays étrangers. La DGSI attire aussi l’attention des entreprises sur la propriété des résultats générés par l’outil d’IA, qui n’entre pas forcément dans le giron de son utilisateur. Enfin, les applis d’IA générative utilisent parfois des outils externes (interface logicielle de type API, plugins) qui sont « souvent moins sécurisés, ce qui peut entrainer des fuites de données d’utilisateurs, voire favoriser des attaques cybernétiques ».
Pour la Sécurité intérieure, les entreprises doivent définir clairement dans quel cadre les salariés peuvent utiliser l’IA dans leur vie professionnelle. Si une IA générative gratuite est utilisée, la DGSI préconise à minima de ne pas y entrer vos données personnelles (nom, téléphone, adresse, analyses médicales, photos personnelles). Elle recommande aux entreprises de privilégier les IA génératives françaises et l’utilisation d’IA en local.
Un directeur vous demande en visio un transfert d’argent important ? Attention, il s’agit peut-être d’un deepfake
À côté de ce risque de divulgation de données sensibles, la Sécurité intérieure rapporte un cas de tentative d’escroquerie en visio. Si l’on connaissait les deepfakes (hypertrucages) de la voix, avec de faux appels de banquiers, de dirigeants ou d’enfants demandant de l’argent à leurs parents pour une (fausse) urgence, cette fois, un escroc a utilisé la voix et l’image d’un dirigeant d’un groupe français pour tenter d’obtenir un transfert de fonds. Ce dernier a appelé en visioconférence le responsable d’un des sites du groupe. « Au premier abord, cet appel n’a pas suscité la curiosité du responsable, l’apparence physique et la voix de l’individu à l’écran correspondant bien à celles du dirigeant », rapporte la DGSI.
Mais le responsable a été intrigué par la demande « rapide » de l’individu, qui souhaitait que ce dernier lui transfère des fonds, « dans le cadre d’un soi-disant projet d’acquisition du groupe ». Surpris par cette démarche inhabituelle, le destinataire de la visio a eu un bon réflexe. Il a mis fin à la conversation et a alerté la direction de son groupe. On lui a confirmé « qu’il avait été victime d’une tentative d’escroquerie par hypertrucage (deepfake) associant le visage et la voix du dirigeant ».
Le dernier exemple mis en exergue par le Renseignement est celui d’une entreprise qui a confié aveuglément l’évaluation de ses partenaires commerciaux à un outil d’IA, « sans vérification complémentaire ». Cette société française était en pleine expansion sur des marchés étrangers : afin de s’associer à des éventuels partenaires, cette dernière a fait appel à un outil d’IA « créé par une entreprise étrangère » pour évaluer différentes sociétés et choisir le partenaire le plus adéquat. Or, « par manque de temps et par méconnaissance des biais potentiels de l’outil, la société ne procède à aucune vérification complémentaire et oriente systématiquement ses décisions en fonction du retour fait par l’outil ».
Une erreur pour la DGSI, qui rappelle que ces outils « peuvent reproduire ou amplifier des biais présents dans les données d’entrainement, pouvant mener à des décisions inéquitables ou discriminatoires ». Les résultats donnés se basent aussi sur « la réponse la plus probable à apporter statistiquement parlant et pas nécessairement la plus pertinente, ni exacte, dans le contexte de la question posée. L’IA va, par exemple, jusqu’à créer des évènements de toute pièce, on parle dans ce cas d’”hallucination”. Cela peut influencer les opinions, manipuler les comportements ou nuire à la réputation », écrit la DGSI. La Sécurité intérieure recommande de vérifier l’exactitude et la pertinence des résultats obtenus en s’appuyant sur des experts qualifiés. Elle rappelle que tout événement suspect peut lui être communiqué sur son adresse électronique dédiée aux sujets de protection économique : [email protected].
👉🏻 Suivez l’actualité tech en temps réel : ajoutez 01net à vos sources sur Google, et abonnez-vous à notre canal WhatsApp.