La DARPA (Agence pour les projets de recherche avance de dfense) du Dpartement de la Dfense des tats-Unis a lanc un concours de deux ans visant dvelopper un programme aliment par lintelligence artificielle capable de scanner des millions de lignes de code open source, didentifier les failles de scurit et de les corriger sans intervention humaine. Cette initiative est lun des signes les plus clairs que le gouvernement considre les vulnrabilits des logiciels open source comme lun des plus grands risques en matire de scurit, et quil considre lintelligence artificielle comme essentielle pour y remdier.
La mission du hackathon : crire un programme capable d’analyser des millions de lignes de code open-source, d’identifier les failles de scurit et de les corriger, le tout sans intervention humaine. En cas de succs, les participants gagneraient des millions de dollars dans le cadre d’un concours de deux ans parrain par la DARPA, l’Agence pour les projets de recherche avance de la dfense.
Dans le cadre du concours de cette anne, les quipes utilisent leurs programmes amliors par l’IA pour analyser et amliorer des millions de lignes de code rel.
Shellphish est l’une des sept quipes qui ont rdig des documents dcrivant suffisamment bien leur approche pour obtenir un financement d’un million de dollars pour les tapes qui culmineront lors des demi-finales en aot Def Con, qui ont attir 40 participants. Le vainqueur recevra 2 millions de dollars supplmentaires en 2025.
Selon les termes du concours de la DARPA, tous les finalistes doivent publier leurs programmes en open source, de sorte que les fournisseurs de logiciels et les consommateurs puissent les utiliser.
Le dfi de la scurit des logiciels open source
Les programmes libres, tels que le systme d’exploitation Linux, permettent de tout faire fonctionner, des sites web aux centrales lectriques. Le code n’est pas intrinsquement plus mauvais que celui des programmes propritaires d’entreprises telles que Microsoft et Oracle, mais il n’y a pas assez d’ingnieurs qualifis chargs de le tester.
En consquence, le code libre mal entretenu a t l’origine de certaines des violations de cyberscurit les plus coteuses de tous les temps, y compris le dsastre d’Equifax en 2017 qui a expos les informations personnelles de la moiti des Amricains. L’incident, qui a donn lieu au plus important rglement de violation de donnes jamais conclu, a cot l’entreprise plus d’un milliard de dollars en amliorations et en pnalits.
Faille dans Apache Struts
En effet, Equifax a point du doigt une faille dans Apache Struts (un framework libre servant au dveloppement d’applications web Java EE) qui aurait t utilise. l’poque, STRUTS tait un systme largement utilis : environ 65 % des socits figurant dans la liste Fortune 100 parmi lesquelles Lockheed Martin, Citigroup, Vodafone, Virgin Atlantic, Reader’s Digest, Office Depot et Showtime.
Bien sr, Apache Struts s’est empress de ragir :
Log4j
En 2013, un utilisateur a propos d’ajouter du code Log4j, et la petite quipe de la Fondation Apache charge de la maintenance de Log4j l’a approuv. En novembre 2021, un ingnieur chinois a constat que la section ajoute contenait un norme dfaut de conception qui permettrait de prendre le contrle du systme, et il a signal le problme au groupe Apache.
Alors qu’Apache travaillait sur un correctif pour rsoudre le problme, un chercheur non identifi a dcouvert les changements en cours et a dvelopp un outil malveillant pour prendre le contrle des ordinateurs utilisant Log4j. Apache a publi le correctif la hte, dclenchant une course entre des milliers de dfenseurs et ceux qui tentaient d’exploiter la faille avant qu’elle ne soit corrige.
De nombreuses instances de Log4j n’ont toujours pas t corriges. Fin juillet, la National Security Agency et d’autres organismes ont averti que des espions nord-corens continuaient s’introduire dans des serveurs web amricains utilisant d’anciennes versions.
Le comit d’examen de la cyberscurit de la Maison Blanche a conclu que seuls un meilleur codage et des audits approfondis auraient pu empcher la diffusion de la faille Log4j, et que les efforts en matire de logiciels libres comme ceux d’Apache ncessiteraient un soutien financier et une expertise soutenus .
L’Agence pour la cyberscurit et la scurit des infrastructures (CISA) du ministre de la scurit intrieure a ragi en accordant de petites subventions des start-up et en incitant les entreprises dclarer le contenu de leurs logiciels. Mais il s’agit l d’initiatives volution lente.
Le rappel le plus rcent de la vulnrabilit remonte au mois de mars. Un ingnieur de Microsoft a alors constat une lgre augmentation de l’utilisation des processeurs grce des outils open-source pour Linux qui venaient d’tre mis jour. Il a dcouvert qu’une porte drobe pour l’espionnage avait t insre par le mainteneur officiel des outils, et a tir la sonnette d’alarme temps pour empcher la livraison de ces outils dans les versions les plus populaires de Linux.
LIA comme solution
Quoiqu’il en soit, si les hommes ne sont pas en mesure de suivre l’volution de tous les codes tisss dans tous les secteurs industriels, la DARPA espre que les machines le pourront.
L’objectif est de disposer d’un « systme de raisonnement cyberntique » de bout en bout qui s’appuie sur de grands modles de langage pour trouver des vulnrabilits, prouver qu’il s’agit bien de vulnrabilits et les corriger , a expliqu l’un des professeurs conseillers, Yan Shoshitaishvili, de l’tat de l’Arizona.
Pour y parvenir, l’quipe est confronte la ralit souvent sombre qui se cache derrire les nobles aspirations de l’IA. Les tudiants s’efforcent notamment d’imposer des contrles d’quilibre pour viter les hallucinations, de vrifier que les correctifs rsolvent effectivement les problmes qu’ils sont censs rsoudre et de faire dbattre deux systmes d’IA sur les meilleurs correctifs, une troisime IA dcidant du vainqueur.
L’IA est comme un enfant de trois ans avec des connaissances infinies , a dclar Lukas Dresel, tudiant diplm de l’UC-Santa Barbara et co-capitaine de l’quipe. Il faut lui donner des informations exploitables .
L’quipe Shellphish est l’un des 40 participants au concours AIxCC (artificial intelligence cyber challenge) organis par la DARPA, l’organisme de recherche du Pentagone charg de mettre au point des armes secrtes et de s’en dfendre. Nous voulons redfinir la manire dont nous scurisons les bases de code critiques largement utilises, en raison de l’omniprsence des logiciels libres dans les secteurs des infrastructures critiques , a dclar Andrew Carney, chef de projet de la DARPA pour le concours.
Une explosion du nombre de violation de donnes
Bien que la DARPA ait contribu la cration de l’internet pour pallier les dfaillances de communication, il est devenu douloureusement vident que le rseau a galement introduit d’normes faiblesses.
Sans scurit intgre, les vastes interconnexions permettent n’importe qui ou n’importe quoi de partir de n’importe o et de chercher pntrer dans les machines qui alimentent le monde moderne. Une fois l’intrieur, les utilisateurs peuvent se faire passer pour des employs ou des administrateurs de systme, voler des secrets nationaux ou commerciaux, fermer l’endroit ou demander une ranon.
Les pirates informatiques font plus de victimes que jamais : Le nombre de violations de donnes signales l’Internet Crime Complaint Center du FBI a tripl entre 2021 et 2023. Des agents gouvernementaux s’introduisent dans les centrales lectriques et hydrauliques de pays rivaux. Les gangs criminels, gorgs de profits illicites, n’hsitent pas mettre hors service des hpitaux et envoyer ailleurs des patients dsesprs.
Les logiciels libres, qu’ils soient crits par des tudiants ou des gnies clairvoyants, sont presque aussi omniprsents que l’internet lui-mme et, selon certaines estimations, ils se nichent l’intrieur de 90 % des logiciels commerciaux.
Comme tous les logiciels, ils comportent des bogues, dont certains peuvent tre exploits pour prendre le contrle d’une machine.
Certains grands projets de logiciels libres sont grs par des armes de bnvoles de la taille de Wikipdia et sont gnralement en bonne sant. D’autres ont des mainteneurs qui reoivent des subventions de grandes entreprises utilisatrices qui en font un travail. Et puis il y a tout le reste, y compris les programmes crits comme des devoirs par des auteurs qui s’en souviennent peine.
L’Open Source a toujours t utiliser vos risques et prils , a dclar Brian Behlendorf, qui a cr l’Open Source Security Foundation aprs avoir pass des dizaines d’annes maintenir un logiciel serveur libre pionnier, Apache, et d’autres projets au sein de l’Apache Software Foundation. Il ne s’agit pas de libre comme dans libert d’expression , a-t-il ajout, prcisant qu’il s’agit plus de libre comme lorsqu’on prend un chiot ; il a besoin d’tre soign et nourri .
Les implications pour lemploi et la socit
- Automatisation des emplois de scurit informatique : Si lIA peut dtecter et corriger les bogues plus efficacement que les humains, quel sera limpact sur les emplois dans le domaine de la scurit informatique ? Les experts en scurit devront-ils se reconvertir ou trouver de nouvelles faons de contribuer ?
- Responsabilit : Qui sera responsable si lIA introduit accidentellement de nouvelles vulnrabilits ? Comment pouvons-nous garantir que lIA ne cre pas de problmes de scurit supplmentaires ?
- Transparence et confiance : Les utilisateurs doivent-ils faire confiance un systme automatis pour dtecter les bogues ? Comment pouvons-nous rendre lIA plus transparente et comprhensible pour les non-experts ?
Yan a compar les progrs attendus des tapes importantes en matire de scurit, comme les mises jour forces des logiciels et les bacs sable des navigateurs, qui empchent les programmes web de s’chapper du navigateur et de s’excuter ailleurs sur l’appareil de l’utilisateur. L’IA ne sera pas en mesure de scuriser tous les logiciels, a-t-il dclar. Mais elle donnera aux humains plus de temps pour essayer.
Sources : DARPA (1, 2), Open Source Security Foundation, National CyberSecurity Center
Et vous ?
LIA peut-elle remplacer compltement les humains dans la dtection de bogues ? Pensez-vous que lIA peut surpasser les comptences humaines en matire de dtection de vulnrabilits logicielles ?
Quels sont les avantages et les inconvnients de lutilisation de lIA pour la scurit des logiciels ? Pensez aux implications positives et ngatives de lautomatisation de la dtection de bogues.
Comment pouvons-nous garantir que lIA ne cre pas de nouveaux problmes de scurit ? Discutez des risques potentiels lis lutilisation de lIA dans ce domaine.
Quelles sont les responsabilits thiques des dveloppeurs et des chercheurs en matire de scurit logicielle ? voquez la manire dont les dcisions prises lors de la conception de lIA peuvent avoir un impact sur la scurit globale.
Quelles autres applications de lIA pourraient amliorer la cyberscurit ? Partagez vos ides sur dautres domaines o lIA pourrait jouer un rle crucial dans la scurit informatique.