Les experts en scurit informatique sont partags sur l’utilisation de l’IA gnrative pour les experts en scurit offensive (quipes rouges), qui simulent des cyberattaques pour tester les systmes d’entreprise. Bien que certains experts, comme ceux d’IBM, estiment que l’IA peut acclrer la dtection des vulnrabilits, d’autres restent prudents, soulignant que l’IA ne peut pas encore remplacer entirement les tches humaines et qu’elle peut poser des problmes d’explicabilit, surtout si une quipe rouge doit dfendre ses actions en justice. Des experts tels que Mert Mustafa et Kuo Yoong mettent en garde contre une dpendance excessive l’IA, qui peut produire des rsultats sans explication claire. Par ailleurs, des spcialistes comme Kevin Reed estiment que l’IA est mieux adapte aux tests de pntration qu’aux quipes rouges, qui se concentrent sur des tests plus complexes. Enfin, la question de la responsabilit lgale de l’utilisation de l’IA dans les tests de scurit demeure floue, avec des dbats sur la transparence et l’explicabilit des actions de l’IA.
L’IA gnrative est de plus en plus adopte dans divers secteurs, mais les experts en scurit informatique demeurent partags sur son efficacit pour les quipes rouges qui valuent la scurit des systmes d’entreprise. Le red teaming consiste simuler des attaques pour reprer des vulnrabilits. Cette mthode courante a t adapte pour tester les applications d’IA gnrative en les soumettant de nombreuses requtes, dans l’espoir que certaines gnrent des rsultats problmatiques que les dveloppeurs pourront corriger. Les quipes rouges utilisent l’IA non seulement pour la tester, mais aussi comme un outil. En mai, l’quipe rouge d’IBM a rvl avoir employ l’IA pour analyser les systmes informatiques d’un grand fabricant de technologies et a identifi une faille dans un portail de ressources humaines, offrant un accs tendu. L’quipe d’IBM estime que l’IA a permis de rduire le temps ncessaire pour dtecter et exploiter cette vulnrabilit.
Lors du forum Canalys APAC en Indonsie, un panel a dbattu de l’utilisation de l’IA dans les quipes rouges et des implications de la dpendance l’IA, notamment sur le plan juridique. Purushothama Shenoy, directeur technique chez IBM APAC, a suggr que l’IA pourrait tre utile pour effectuer des tests de scurit de manire plus thique, en acclrant la dtection des menaces travers lanalyse automatise de donnes grande chelle. Cependant, il a exprim des inquitudes sur la tendance ignorer les risques lis la conception de systmes IA. Mert Mustafa, directeur gnral chez eSentire, a mis en garde contre une trop grande confiance dans l’IA, soulignant qu’elle ne doit pas remplacer toutes les tches humaines. Kuo Yoong, de Synnex, a galement soulign que l’IA gnrative manque souvent de transparence sur la manire dont elle produit ses rsultats, ce qui complique la dfense des actions des quipes rouges en cas de litige.
Les experts conviennent que, bien que l’IA puisse transformer la cyberscurit, elle prsente des dfis juridiques et pratiques, notamment en raison de son manque d’explicabilit. Selon les intervenants, les criminels, eux, nhsiteront pas exploiter lIA pour leurs attaques, ce qui rend son adoption invitable. Nishant Jalan, de Galaxy Office Automation, a suggr de limiter l’usage de l’IA gnrative pour viter son excs et a appel une rgulation stricte. D’autres experts se demandent si l’IA gnrative est encore suffisamment mature pour tre intgre aux quipes rouges. Kevin Reed, CISO d’Acronis, estime que l’IA est plus adapte aux tests de pntration, qui se concentrent sur les vulnrabilits techniques, tandis que les quipes rouges, axes sur des contrles organisationnels plus subtils, ncessitent encore un travail humain plus pouss.
Concernant la lgalit, Bryan Tan, associ du cabinet d’avocats Reed Smith spcialis dans les technologies, estime que la principale question est de savoir qui porte la responsabilit de l’IA gnrative utilise pour effectuer des tests de pntration. Selon lui, cette responsabilit incombe l’oprateur qui fournit le service de test. Il prcise que l’oprateur, qu’il s’agisse de l’entreprise ou de l’employ, devra tre en mesure de rpondre aux interrogations et garantir la transparence et l’explicabilit des actions de l’IA. En ce qui concerne la rgulation de l’IA, il indique que celle-ci en est encore un stade philosophique , bien que plusieurs pays aient dj mis en place des rglementations sur les tests d’empreintes digitales, ce qui pourrait conduire l’inclusion future de l’IA dans ces lois.
Bien que les tests de pntration soient largement encourags dans de nombreux pays, certains interdisent strictement leur pratique. Dans ces pays, la ralisation de tests non autoriss peut entraner de lourdes sanctions juridiques, telles que des amendes importantes, des peines de prison et l’expulsion des ressortissants trangers. Il est donc essentiel pour les particuliers et les organisations de bien comprendre les lois et rglementations locales concernant les tests de pntration.
Les dfis juridiques de l’IA dans les tests de pntration
L’utilisation de l’IA gnrative dans les quipes rouges de scurit offensive suscite un dbat intressant mais complexe. D’un ct, certains experts, comme ceux d’IBM, voient l’IA comme un outil capable d’acclrer la dtection des vulnrabilits en automatisant une partie du processus de simulation d’attaque. Cela permettrait de gagner un temps prcieux et d’identifier plus rapidement des points de faiblesse dans les systmes, ce qui semble tre un argument valable, surtout dans un environnement o les cybermenaces sont de plus en plus sophistiques et urgentes. L’IA peut effectivement traiter des volumes massifs de donnes plus rapidement qu’un humain et dtecter des schmas complexes dans des rseaux vastes, ce qui peut tre un atout pour les quipes rouges.
Cependant, les critiques formules par d’autres experts, comme Mert Mustafa et Kuo Yoong, mettent en lumire des proccupations lgitimes. L’IA, bien qu’efficace dans certains domaines, ne peut pas remplacer lintuition, le jugement et l’expertise humaine dans des situations complexes. Les tests de pntration effectus par les quipes rouges ne se limitent pas identifier des vulnrabilits, mais comprennent galement des aspects plus nuancs, comme l’analyse des comportements organisationnels et l’valuation des protocoles de scurit au niveau humain. L’IA pourrait chouer capturer ces dynamiques, ce qui rend son rle limit dans le cadre des tests d’quipe rouge.
De plus, un point crucial soulev par ces experts est celui de lexplicabilit. Si une quipe rouge utilise l’IA pour simuler une attaque, comment justifier ensuite ses actions devant un tribunal ou dans le cadre dune analyse de conformit rglementaire ? L’absence de transparence dans la manire dont l’IA prend ses dcisions pourrait poser de graves problmes juridiques. L’explicabilit des actions de l’IA devient donc une question pineuse, surtout lorsque des attaques simules peuvent parfois violer des rgles de confidentialit ou de scurit, sans qu’on puisse clairement expliquer le raisonnement de l’IA.
L’argument de Kevin Reed, qui distingue les tests de pntration des tches effectues par les quipes rouges, mrite galement une attention particulire. LIA semble tre mieux adapte aux tests de pntration, qui se concentrent davantage sur la recherche de vulnrabilits techniques prcises, plutt que sur lanalyse des comportements humains ou des contrles organisationnels complexes, des domaines dans lesquels lIA peut tre moins efficace.
Enfin, la question de la responsabilit lgale, voque par Bryan Tan, soulve des inquitudes quant la responsabilit de lIA dans un cadre juridique. Qui est responsable si l’IA commet une erreur ou provoque un dommage lors d’un test de pntration ? Si l’IA est utilise dans un cadre non autoris ou produit des rsultats imprvus, il sera difficile de dterminer qui porte la responsabilit l’entreprise, le dveloppeur de l’IA, ou mme l’outil lui-mme. La transparence, l’explicabilit et la rgulation sont donc des points essentiels prendre en compte pour viter des risques juridiques.
En conclusion, bien que l’IA puisse constituer un outil prcieux pour les quipes rouges, son utilisation ne doit pas tre vue comme une solution universelle. LIA peut tre un alli dans certaines tches spcifiques, mais elle ne saurait remplacer la capacit humaine analyser des situations complexes et justifier des actions en cas de besoin. Le dfi consiste trouver un quilibre entre l’automatisation des tches simples et la prservation des comptences humaines dans les domaines stratgiques et critiques de la cyberscurit.
Sources : Prembly, Canalys APAC Forum
Et vous ?
Quel est votre avis sur le sujet ?
L’IA peut-elle rellement remplacer l’expertise humaine dans la dtection des vulnrabilits, ou ses limitations actuelles risquent-elles d’entraner des erreurs critiques ?
Voir aussi :