Une faille critique de Gemini, l’IA de Google, a été découverte. Celle-ci permet de manipuler l’intelligence artificielle pour tenter de berner les internautes avec une fausse alerte de sécurité. La cyberattaque repose sur des instructions invisibles cachées dans un mail…
Marco Figueroa, un expert en sécurité informatique spécialisé dans le reverse-engineering, a découvert une faille dans le fonctionnement de Gemini, l’IA générative de Google. La vulnérabilité se trouve dans l’une des fonctionnalités de l’intelligence artificielle quand elle opére en synergie avec les outils de la suite Google, en particulier Gmail. Par exemple, Gemini est capable de résumer un courriel reçu, ce qui doit vous permettre de gagner du temps.
Malheureusement, il s’avère que des mails piégés, contenant des instructions invisibles et malveillantes, sont susceptibles de berner Gemini. Comme l’a remarqué Marco Figueroa, il est possible de concevoir un mail comprenant une série de directives destinées à Gemini. Ces directives sont invisibles pour l’internaute. Elles sont cachées dans le corps du texte, à la fin du message, et camouflées avec un peu de code CSS. Par exemple, il est possible d’afficher le texte malveillant en blanc sur fond blanc, et avec une taille réduite.
À lire aussi : les utilisateurs inquiets après avoir reçu cet email de Google
Une instruction cachée et une fausse alerte de phishing
Si l’utilisateur n’aperçoit pas le texte, Gemini va bel et bien le prendre en compte. L’instruction peut ainsi berner le système de résumé des mails des Gemini. Gemini obéit fidèlement à « l’instruction cachée et appose un avertissement de phishing qui semble provenir de Google lui-même ». Dans le résumé fourni par l’IA, l’internaute tombera alors sur un faux avertissement de sécurité. Cet avertissement factice indiquera par exemple que le mot de passe du compte Gmail a été compromis, et qu’il faut absolument se rendre sur un site web.
De cette manière, les pirates peuvent rediriger la cible sur une plateforme de phishing, taillée pour subtiliser ses données personnelles, comme des identifiants. Les attaquants peuvent aussi demander à la victime de téléphoner à un faux numéro de téléphone d’assistance. Étant donné que l’avertissement semble émis par Gemini, les utilisateurs risquent de ne pas se méfier et d’obéir sans prendre de recul. Sans pièce jointe et sans lien inclus, le mail piégé est susceptible de contourner les mécanismes de sécurité de Gmail. C’est pourquoi il est possible de mettre au point des cyberattaques redoutables en utilisant des instructions malveillantes destinées à tromper l’IA.
Méfiez-vous des résumés de Gemini
Dans ces conditions, on vous conseille de vous méfier des résumés générés par Gemini. Il ne faut pas prendre les informations de l’IA pour argent comptant. Comme tous les chatbots, Gemini peut fournir de fausses informations, que ce soit à la suite d’un dysfonctionnement de son modèle linguistique, ou à cause d’un pirate ingénieux. Interrogé par Bleeping Computer, Google indique améliorer constamment ses défenses en menant des exercices qui entraînent ses « modèles à se défendre contre ces types d’attaques contradictoires ».
Google précise qu’une partie des mesures d’atténuation proposées par Marco Figueroa sont en cours d’implémentation. Le chercheur recommande notamment que l’IA soit programmée pour ignorer le contenu caché ou qu’un filtre capable de rechercher les éléments suspects soit mis en place. Par ailleurs, il n’y a aucune preuve que Gemini ait déjà été exploité pour mener des attaques, souligne Google.
Ce n’est pas la première fois que des chercheurs montrent que l’intelligence artificielle peut être utilisée comme point d’entrée dans le cadre d’une cyberattaque. En miroir de Gemini, Microsoft 365 Copilot, l’assistant intelligent intégré aux applications de la suite Microsoft, peut être manipulé avec des instructions invisibles cachées dans un mail. Dans le cas de Copilot, l’attaque risque directement d’aboutir au vol de données sensibles, à l’insu de l’utilisateur.
Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
Source :
0din.ai