Anthropic, la société à qui l’on doit les modèles de langage Claude, a révisé sa politique de sécurité pour répondre aux menaces croissantes des acteurs malveillants utilisant l’IA pour automatiser les cyberattaques.
Évaluer les risques
Dans un document PDF détaillant la « politique de mise à l’échelle responsable » de l’entreprise, plusieurs ajustements ont été proposés pour mieux surveiller les éventuelles utilisations abusives des modèles d’IA. Ces ajustements incluent l’instauration de niveaux de sécurités supérieurs (AI Safety Levels — ASL) qui seront capables d’apporter des « garanties techniques et opérationnelles » afin de gérer les risques croissants liés à ces technologies.
Lors de « tests de routine » sur la sécurité de ses modèles d’IA, Anthropic a identifié une capacité préoccupante qui « nécessite une enquête approfondie et pourrait nécessiter des mesures de protection renforcées ». Cette capacité, décrite comme une véritable menace, permettrait d’utiliser l’IA pour améliorer ou automatiser des cyberattaques sophistiquées et destructrices. L’entreprise évoque également le développement de logiciels malveillants, des intrusions réseau et l’exploitation de failles zero-day.
Le rapport détaille les mesures qui seront mises en place pour surveiller et examiner ces situations de manière continue, afin de minimiser les risques :
« Il s’agira de collaborer avec des experts en cyberopérations pour évaluer les risques, renforcer la sécurité, et ainsi atténuer les menaces. La mise en œuvre de contrôles d’accès échelonnés est notamment envisagée. Nous effectuerons des tests avant ou après le déploiement, y compris des évaluations spécialisées. Nous documenterons tous les résultats marquants parallèlement à nos rapports de capacité. »
Mettre en place des garde-fous
Actuellement, tous les modèles d’IA développés par Anthropic répondent aux exigences du « niveau 2 » de l’ASL (AI Safety Levels). Ce niveau « requiert un système de sécurité capable de repousser la majorité des attaquants » et inclut des examens de sécurité des fournisseurs et des partenaires, des mesures de sécurité physique, ainsi que l’application de principes de sécurité dès la conception.
Ces nouvelles politiques peuvent être perçues comme des efforts supplémentaires et conjoints entre Anthropic et OpenAI pour instaurer des restrictions sur l’intelligence artificielle. En août dernier, les deux entreprises ont signé des accords avec l’Institut américain de sécurité de l’intelligence artificielle, rattaché au National Institute of Standards and Technology (NIST) du ministère américain du Commerce, afin de collaborer sur la recherche, les tests et l’évaluation de l’IA.
L’idée d’une IA capable d’automatiser les cyberattaques circule depuis un certain temps déjà. L’éditeur de pare-feu Check Point Software Technologies a prévenu l’année dernière que des acteurs étatiques tentaient de compromettre ChatGPT afin d’automatiser les attaques de phishing.