Parce que… c’est l’épisode 0x363! Shameless plug 13 et 14 novembre 2026 - Worldwide - DEATHCon 16 au 19 novembre - Rennes, France - European Cyber Week 2026 25 et 26 février 2027 - Québec, Canada - SéQCure 2027 9 au 11 mars 2027 - Lilles, France - Forum INCYBER - Europe 2027 I.A. Café - Enquête au cœur de la recherche sur l’intelligence artificielle 16 novembre 2026 - Paris, France - CNIL - Convaincre ou manipuler ? L'éthique du numérique à l'épreuve des urnes Boostsecurity - Dazio 5 novembre 2026 - Montréal, Canada - CISO Open Mic Montréal 2026 Description Cette description a été faite à l’aide de GLM 5.3 Flash, à partir de la transcription qui a été effectuée par ElevenLabs Scribev2. Aucune vérification humaine n’a été faite. Si vous découvrez des erreurs ou des inexactitudes, vous pouvez m’en faire part afin que je procède aux modifications appropriées. Le contexte et la promesse des SOC augmentés par l’IA Cet épisode technique de Polysécure, animé par Nicolas avec Jordan Theodore, poursuit la réflexion entamée sur l’intelligence artificielle en abordant son intégration dans les SOC. Depuis un ou deux ans, une nouvelle génération d’outils, les SOC AI ou analystes IA autonomes, émerge en Amérique du Nord pour résoudre l’alerte fatigue, l’épuisement face à un volume d’alertes croissant, aggravé par une pénurie mondiale d’analystes, surtout au niveau un. Les attaquants étant eux-mêmes armés par l’IA, une entrée sur les systèmes prend en moyenne moins de trente secondes, un délai inatteignable pour l’analyste humain qui jongle entre des outils se contentant de lever des alertes, souvent des faux positifs. Ce métier s’avère peu gratifiant pour des diplômés de formations poussées, d’où un fort roulement de personnel. Ces plateformes promettent d’enquêter à la place des analystes de niveau un, lesquels passeraient au niveau deux et resteraient dans l’organisation. Leur architecture repose sur le RAG et des agents. Lorsqu’une alerte tombe depuis un EDR vers le SIEM, la plateforme extrait la donnée, interroge les bases de CTI, consulte les anciens tickets et les logs, puis un LLM juge tranche avant de produire un rapport mappé sur MITRE ATT&CK. Un malaise de confiance et le scénario de l’attaquant Nicolas exprime d’emblée son malaise à confier ces décisions de tri à une machine au contexte limité et facile à tromper. Jordan partage cet avis, la promesse reposant sur deux confiances, la pureté du RAG et le discernement du LLM juge, or les deux se font berner, comme l’attestent des cas de test contre Copilot recensés sur MITRE ATLAS. Jordan se met ensuite dans la peau d’un attaquant qui, avant son intrusion, corrompt une source de threat intel ou génère de faux événements pour empoisonner l’historique du SIEM. Le jour J, la plateforme récupère le log empoisonné et conclut avec certitude que le comportement est normal, classant des attaques réelles en faux positifs et clôturant les tickets silencieusement. L’analyste doit désormais vérifier les alertes et l’IA, une complexité qui érode le bénéfice de l’automatisation. Inverse scaling, RLHF et perplexité Des chercheurs ont publié le mois dernier des travaux révélant des vulnérabilités mathématiques de fond, notamment l’inverse scaling. Les mastodontes de soixante-dix milliards de paramètres détectent moins bien l’empoisonnement que des modèles légers de huit milliards, l’hypothèse portant sur le RLHF, alignement qui rend les modèles puissants dociles et obéissants, leur apprenant une confiance absolue envers le contexte fourni. Lorsqu’un document empoisonné glisse une directive malveillante présentée avec autorité, cette obéissance se retourne contre le modèle, la conciliation avec les humains étant incompatible avec un contexte hostile comme la cybersécurité. La perplexité offre un autre angle, une haute valeur signalant la surprise du modèle, une basse sa certitude. Contre toute attente, le contenu empoisonné affiche une perplexité plus basse que les contenus sains, l’attaquant forçant une convergence trop parfaite qui induit une fausse confiance. L’attention collapse comme signal de détection Puisqu’on peut accéder aux états internes du transformer et à sa matrice d’attention, on détecte qu’un document suspect concentre une attention anormale, phénomène nommé attention collapse. La mechanistic interpretability, qui observe l’intérieur du modèle plutôt qu’une boîte noire, inspire le framework D-scan, pour Document Level Signal Collapse Analysis, qui déplace la détection vers ces états internes. Une implémentation en Python avec Torch tient en trois étapes, exposer les mécanismes internes lors de l’inférence, récupérer la matrice d’attention de la dernière couche, puis vérifier un effondrement de l’attention sur une seule source. Les tests atteignent 98 % de précision sur de petits jeux de données, les très gros volumes exigeant des outils complémentaires. Les défenses périmétriques du RAG Dans une logique de défense en profondeur, Jordan a repéré un angle mort, le paramètre top K du moteur vectoriel FAISS, exploité par un attaquant manipulant le champ lexical de son document malveillant. Sur un document unique, une attaque atteint 55 % de succès, un taux qui chute à 0,6 % avec du multi-documents, le top 5 réduisant d’un facteur vingt l’importance du poison. Le second pilier, le LE2C pour Label Embedding Consistency Checking, exploite le fait qu’un attaquant peut falsifier l’étiquette d’un log, mais pas sa position géométrique, la distance euclidienne avec le centroïde du cluster sain révélant les dissonances. Côté réponse, mieux vaut déclasser que supprimer les documents suspects, en reléguant au fond du contexte et en réduisant leur poids, neutralisant leur influence tout en préservant l’historique des attaques, trace d’une intention hostile. Les recommandations et le chemin vers la maturité La réponse opérationnelle reste ouverte, ce type d’alerte sur les systèmes d’IA n’étant pas encore implémenté. Trois règles se dégagent, ne pas accorder une confiance aveugle au LLM juge puisque plus le modèle est gros, plus il est docile face au poison, monitorer la tension interne pendant l’inférence avec des sondes s’appuyant sur l’entropie de Shannon, et privilégier le triage multi-documents pour diluer le poison. Jordan a refait une implémentation axée sur le syslog, tandis que D-scan et RAGIDA sont publiés pour inspirer les architectures de demain. Nicolas relie ces constats au lethal trifecta, selon lequel combiner de la donnée non fiable avec un système capable de décider expose à des problèmes, le zero trust s’étendant désormais aux logs. Ces plateformes deviendront probablement un standard d’ici deux à trois ans, mais la maturité n’est pas au rendez-vous, l’IA restant un assistant auquel on ne peut encore confier le rôle de juge. Les attaquants gardent leur avance, la recherche demeure insuffisante sur ces segments, d’où l’importance de partager ces travaux. Comme le conclut Jordan, être en cybersécurité, c’est déjà être paranoïaque, et chaque nouvelle technologie demande d’en ajouter. Contributeurs .contributors-table { border-collapse: separate; border-spacing: 20px 8px;
