Ceci est l’analyse prliminaire aprs incident (PIR) de CrowdStrike. Nous dtaillerons notre enqute complte dans l’analyse des causes fondamentales qui sera rendue publique. Tout au long de ce PIR, nous avons utilis une terminologie gnralise pour dcrire la plateforme Falcon afin d’amliorer la lisibilit. La terminologie utilise dans d’autres documents peut tre plus spcifique et technique.
Que s’est-il pass ?
Le vendredi 19 juillet 2024 04:09 UTC, dans le cadre des oprations rgulires, CrowdStrike a publi une mise jour de la configuration du contenu pour le capteur Windows afin de recueillir des donnes tlmtriques sur d’ventuelles nouvelles techniques de menace.
Ces mises jour font partie intgrante des mcanismes de protection dynamique de la plateforme Falcon. La mise jour problmatique de la configuration de Rapid Response Content a entran un crash du systme Windows.
Les systmes concerns sont les htes Windows utilisant la version 7.11 et suprieure du capteur qui taient en ligne entre le vendredi 19 juillet 2024 04:09 UTC et le vendredi 19 juillet 2024 05:27 UTC et qui ont reu la mise jour. Les htes Mac et Linux n’ont pas t touchs.
Le dfaut dans la mise jour du contenu a t annul le vendredi 19 juillet 2024 05:27 UTC. Les systmes mis en ligne aprs cette heure, ou qui ne se sont pas connects pendant la fentre, n’ont pas t affects.
Qu’est-ce qui n’a pas fonctionn et pourquoi ?
CrowdStrike fournit des mises jour de configuration du contenu de scurit ses capteurs de deux manires : Sensor Content qui est livr directement avec nos capteurs, et Rapid Response Content qui est conu pour rpondre l’volution du paysage des menaces la vitesse oprationnelle.
Le problme survenu vendredi concernait une mise jour Rapid Response Content avec une erreur non dtecte.
Sensor Content
Sensor Content fournit un large ventail de capacits pour aider la rponse de l’adversaire. Il fait toujours partie de la publication d’un capteur et n’est pas mis jour de manire dynamique partir du cloud. Sensor Content comprend des modles d’IA et d’apprentissage automatique sur le capteur, et comprend du code crit expressment pour fournir des capacits rutilisables plus long terme pour les ingnieurs de CrowdStrike chargs de la dtection des menaces.
Ces capacits comprennent des Template Types (types de modle), qui comportent des champs prdfinis que les ingnieurs de dtection des menaces peuvent exploiter dans le Rapid Response Content Les Template Types sont exprims en code. Tous les Sensor Content, y compris les Template Types, sont soumis un processus d’assurance qualit approfondi, qui comprend des tests automatiss, des tests manuels, des tapes de validation et de dploiement.
Le processus de mise disposition des capteurs commence par des tests automatiss, avant et aprs l’intgration dans notre base de code. Cela comprend des tests unitaires, des tests d’intgration, des tests de performance et des tests de stress. Cela aboutit un processus de dploiement du capteur par tapes, qui commence par un test interne chez CrowdStrike, suivi par les utilisateurs prcoces. Le capteur est ensuite mis la disposition des clients. Les clients ont alors la possibilit de slectionner les parties de leur flotte qui doivent installer la dernire version du capteur ( N ), ou une version plus ancienne ( N-1 ) ou deux versions plus anciennes ( N-2 ) par le biais des politiques de mise jour des capteurs.
L’vnement du vendredi 19 juillet 2024 n’a pas t dclench par Sensor Content, qui n’est livr qu’avec la sortie d’une mise jour du capteur Falcon. Les clients ont un contrle total sur le dploiement du capteur – qui comprend le Sensor Content et les Template Types.
Rapid Response Content
Rapid Response Content est utilis pour effectuer une varit d’oprations de mise en correspondance de modles comportementaux sur le capteur l’aide d’un moteur hautement optimis. Le Rapid Response Content est une reprsentation des champs et des valeurs, avec le filtrage associ. Ce Rapid Response Content est stock dans un fichier binaire propritaire qui contient des donnes de configuration. Il ne s’agit pas d’un code ou d’un pilote de noyau.
Le Rapid Response Content est fourni sous la forme de Template Instances (instances de modles), qui sont des instanciations d’un Template Type donn. Chaque Template Instance correspond des comportements spcifiques que le capteur doit observer, dtecter ou prvenir. Les Template Instances disposent d’un ensemble de champs qui peuvent tre configurs pour correspondre au comportement dsir.
En d’autres termes, les Template Types reprsentent une capacit de capteur qui permet de nouvelles tlmtries et dtections, et leur comportement en cours d’excution est configur dynamiquement par un Template Instance (c’est–dire un Rapid Response Content).
Rapid Response Content fournit une visibilit et des dtections sur le capteur sans qu’il soit ncessaire de modifier le code du capteur. Cette capacit est utilise par les ingnieurs chargs de la dtection des menaces pour recueillir des donnes tlmtriques, identifier les indicateurs du comportement de l’adversaire et effectuer des dtections et des prventions. Rapid Response Content est une heuristique comportementale, spare et distincte des capacits de prvention et de dtection de l’IA sur le capteur de CrowdStrike.
Test et dploiement du Rapid Response Content
Le Rapid Response Content est fourni sous forme de mises jour de la configuration du contenu au capteur Falcon. Il existe trois systmes principaux : le Content Configuration System (systme de configuration du contenu), le Content Interpreter (interprteur de contenu) et le Sensor Detection Engine (moteur de dtection du capteur).
Le Content Configuration System fait partie de la plateforme Falcon dans le cloud, tandis que le Content Interpreter et le Sensor Detection Engine sont des composants du capteur Falcon. Le Content Configuration System est utilis pour crer des instances de modles, qui sont valides et dployes sur le capteur par le biais d’un mcanisme appel Channel Files . Le capteur stocke et met jour ses donnes de configuration de contenu par le biais de fichiers de canaux, qui sont crits sur le disque de l’hte.
Le Content Interpreter du capteur lit le fichier de canal et interprte le Rapid Response Content, ce qui permet au moteur de dtection du capteur d’observer, de dtecter ou de prvenir les activits malveillantes, en fonction de la configuration de la politique du client. L’interprte de contenu est conu pour grer de manire lgante les exceptions lies un contenu potentiellement problmatique.
Les Template Types nouvellement publis sont soumis des tests de rsistance sur de nombreux aspects, tels que l’utilisation des ressources, l’impact sur les performances du systme et le volume d’vnements. Pour chaque Template Types, une Template Instance spcifique est utilise pour tester le Template Types en le comparant toutes les valeurs possibles des champs de donnes associs afin d’identifier les interactions ngatives du systme.
Les Template Instances sont cres et configures l’aide du Content Configuration System, qui comprend le Content Validator qui effectue des contrles de validation sur le contenu avant qu’il ne soit publi.
Chronologie des vnements : Essais et dploiement du Template Type InterProcessCommunication (IPC)
Publication de Sensor Content : Le 28 fvrier 2024, le capteur 7.11 a t mis la disposition gnrale des clients, introduisant un nouveau Template Type IPC pour dtecter les nouvelles techniques d’attaque qui abusent des Named Pipes. Cette version a suivi toutes les procdures de test du Sensor Content dcrites ci-dessus dans la section Sensor Content.
Test de stress du Template Type : Le 05 mars 2024, un test de stress du Template Type IPC a t excut dans notre environnement de prparation, qui se compose d’une varit de systmes d’exploitation et de charges de travail. Le Template Type IPC a russi le test de stress et a t valid pour l’utilisation.
Publication du Template Instance via le Channel File 291 : Le 5 mars 2024, aprs la russite du test de stress, une Template Instance IPC a t mise en production dans le cadre d’une mise jour de la configuration du contenu. Par la suite, trois autres Template Instances IPC ont t dployes entre le 8 avril 2024 et le 24 avril 2024. Ces Template Instances ont fonctionn comme prvu en production.
Que s’est-il pass le 19 juillet 2024 ?
Le 19 juillet 2024, deux Template Instances IPC supplmentaires ont t dployes. En raison d’un bogue dans le Content Validator, l’une des deux Template Instances a pass la validation bien qu’elle contienne des donnes de contenu problmatiques.
Sur la base des tests effectus avant le dploiement initial du Template Type (le 05 mars 2024), de la confiance dans les vrifications effectues dans le Content Validator et des prcdents dploiements russis des Template Instances IPC, ces instances ont t dployes en production.
Lorsqu’il a t reu par le capteur et charg dans le Content Interpreter, le contenu problmatique du Channel File 291 a entran une lecture hors limites de la mmoire, ce qui a dclench une exception. Cette exception inattendue n’a pas pu tre gre de manire lgante, ce qui a entran un plantage du systme d’exploitation Windows (BSOD).
Comment viter que cela ne se reproduise ?
Rsilience des logiciels et tests
- Amliorer les tests Rapid Response Content en utilisant des types de tests tels que :
- Tests auprs des dveloppeurs locaux
- Mise jour du contenu et rollback des tests
- Tests de stress, fuzzing et injection de fautes
- Tests de stabilit
- Tests d’interface de contenu
- Ajout de contrles de validation supplmentaires au Content Validator pour le Rapid Response Content. Un nouveau contrle est en cours pour viter que ce type de contenu problmatique ne soit dploy l’avenir.
- Amliorer la gestion des erreurs dans le Content Interpreter.
Dploiement du Rapid Response Content
- Mettre en uvre une stratgie de dploiement chelonn pour le Rapid Response Content dans laquelle les mises jour sont progressivement dployes sur des parties plus importantes de la base de capteurs, en commenant par un dploiement Canary.
- Amliorer la surveillance des performances des capteurs et du systme, en recueillant des feedbacks pendant le dploiement de Rapid Response Content afin d’orienter un dploiement progressif.
- Offrir aux clients un plus grand contrle sur la diffusion des mises jour de Rapid Response Content en permettant une slection granulaire du moment et de l’endroit o ces mises jour sont dployes.
- Fournir des dtails sur les mises jour de contenu par le biais de notes de mise jour, auxquelles les clients peuvent s’abonner.
En plus de cette analyse prliminaire aprs incident, CrowdStrike s’engage rendre publique l’analyse complte des causes profondes une fois l’enqute termine.
tat de la classification du dossier
Le fichier de canal responsable des pannes du systme le vendredi 19 juillet 2024 partir de 04:09 UTC a t identifi et dprci sur les systmes oprationnels. Lorsqu’il y a dprciation, un nouveau fichier est dploy, mais l’ancien fichier peut rester dans le rpertoire du capteur.
Par excs de prudence, et pour viter que les systmes Windows ne subissent d’autres perturbations, la version impacte du fichier de canal a t ajoute la liste des erreurs connues de Falcon dans le Cloud de CrowdStrike.
Aucune mise jour de capteur, aucun nouveau fichier de canal ni aucun code n’a t dploy partir du Cloud CrowdStrike.
Pour les machines oprationnelles, il s’agit d’une mesure d’hygine. Pour les systmes impacts disposant d’une forte connectivit rseau, cette action pourrait galement entraner la rcupration automatique des systmes en boucle de dmarrage.
Ceci a t configur en US-1, US-2, et EU le 23 juillet, 2024 UTC. Les clients de Gov-1 et Gov-2 peuvent demander la classification known-bad du fichier 291 de channel en contactant le support de CrowdStrike.